# Le portfolio de médecine générale: contenu et modes d'évaluation dans les Départements de Médecine Générale de France

Matthieu Ariza, Laurence Compagnon

► To cite this version:

Matthieu Ariza, Laurence Compagnon. Le portfolio de médecine générale: contenu et modes d'évaluation dans les Départements de Médecine Générale de France. Education. Faculté de médecine d'Amiens, 2016. Français. NNT: . tel-04548739

HAL Id: tel-04548739

https://u-picardie.hal.science/tel-04548739

Submitted on 16 Apr 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Le portfolio de médecine générale : contenu et modes d'évaluation dans les Départements de Médecine Générale de France

THÈSE

POUR LE DOCTORAT DE MÉDECINE GÉNÉRALE (DIPLOME D'ÉTAT)

PRESENTÉE ET SOUTENUE PUBLIQUEMENT

LE PREMIER MARS 2016

PAR

ARIZA MATTHIEU

PRÉSIDENT DU JURY : Monsieur le Professeur Djamal-Dine DJEDDI

JUGES :
Monsieur le Professeur Patrice FARDELLONE
Monsieur le Professeur Bernard BOUDAILLIEZ
Madame le Professeur Rachel DESAILLOUD

DIRECTEUR : Madame le Professeur Laurence COMPAGNON
REMERCIEMENTS

À mon président du jury,

Monsieur le Professeur Djamal-Dine DJEDDI

Professeur des Universités – Praticien Hospitalier
(Pédiatrie)

Responsable du centre d'activité "Pédiatrie médicale et médecine de l'adolescent"

Pôle "Femme - Couple - enfant"

Je suis honoré de votre présence et de votre œil averti sur le sujet. Je vous prie
d'agréer, Monsieur le Professeur, l'assurance de ma haute considération.
À ma directrice de thèse,

Madame le Professeur Laurence COMPAGNON
Professeur Associée de Médecine Générale

Recevez tous mes remerciements pour votre grande disponibilité, la patience, et votre impulsion à mettre en avant cette étude. Merci de m'avoir proposé d'intégrer la suite de ce travail.
À mes membres du jury,

Monsieur le Professeur Patrice FARDELLONE

Professeur des Universités-Praticien Hospitalier

Responsable du service de Rhumatologie, pôle "Autonomie"

(Rhumatologie)

Ayez toute ma reconnaissance pour votre participation à ce jury et pour
l'intérêt que vous portez à ce travail.

Monsieur le Professeur Bernard BOUDAILLIEZ

Professeur des Universités-Praticien Hospitalier

(Pédiatrie)

Pôle "Femme - Couple - Enfant"

Officier dans l'Ordre des Palmes Académiques

Je vous suis reconnaissant d'avoir accepté de siéger à mon jury et de juger mon
travail. Soyez assuré de toute ma gratitude.

Madame le Professeur Rachel DESAILLOUD

Professeur des Universités-Praticien Hospitalier

(Endocrinologie, diabète et maladies métaboliques)

Recevez tous mes remerciements pour votre participation à ce jury et pour
votre soutien. Veuillez agréer, Madame le Professeur, mes salutations
distinguées.
A mes maîtres de stage, **Dr Lepront** et **Dr Guillabert**, qui m'ont donné le goût de la médecine générale quand j'étais externe, et **Dr Gareau**, pendant l'internat, qui m'a donné l'étincelle du plaisir dans ce métier, avec de plus l'appétence pour la médecine rurale.

A Dr **Agut** et Dr **Artigues**, qui m'ont ouvert la porte de leur cabinet, et qui m'y ont chaleureusement donné une place, en participant à la fin de ma formation en dehors des clous de la faculté.

A Dr **Blanchon**, pour son exigence saine pour mon mémoire de Master 2, qui m'ouvrira peut-être des portes pour continuer la recherche.

A tous mes amis, **Benjamin**, **Romain**, **Hannah**, **Geoffrey** et **Sophie**, **Deborah** et **Yann**, qui sont toujours près du cœur même s'ils peuvent se sentir délaissés.

A ma femme **Angie** et à toute ma famille, qui sont la vraie source du bonheur.

A ma fille, **Diane**, qui aura un mois quand son papa soutiendra sa thèse, et qui est déjà la plus belle des princesses.
Table des matières

<table><tr><td>REMERCIEMENTS</td><td>2</td></tr><tr><td>TABLE DES MATIERES</td><td>6</td></tr><tr><td>GLOSSAIRE</td><td>8</td></tr><tr><td>RESUME</td><td>9</td></tr><tr><td>ABSTRACT</td><td>10</td></tr><tr><td>1 INTRODUCTION</td><td>11</td></tr><tr><td>1.1 L'APPROCHE PAR APPRENTISSAGE</td><td>11</td></tr><tr><td>1.2 L'APPROCHE PAR COMPETENCES</td><td>11</td></tr><tr><td>1.3 LE PORTFOLIO</td><td>12</td></tr><tr><td>1.4 OBJECTIFS</td><td>12</td></tr><tr><td>2 METHODE</td><td>13</td></tr><tr><td>2.1 TYPE ET PERIODE D'ETUDE</td><td>13</td></tr><tr><td>2.2 POPULATION D'ETUDE</td><td>13</td></tr><tr><td>2.3 RECUEIL DES DONNEES</td><td>13</td></tr><tr><td>2.4 CONSTRUCTION DU QUESTIONNAIRE ET DEFINITION DES VARIABLES</td><td>13</td></tr><tr><td>2.4.1 UTILISATION D'UN PORTFOLIO</td><td>13</td></tr><tr><td>2.4.2 CADRE D'UTILISATION DU PORTFOLIO</td><td>14</td></tr><tr><td>2.4.3 CONTENU</td><td>14</td></tr><tr><td>2.4.4 EVALUATION</td><td>14</td></tr><tr><td>2.4.5 TUTORAT</td><td>15</td></tr><tr><td>2.4.6 EXEMPLE DE PORTFOLIO</td><td>15</td></tr><tr><td>2.5 ANALYSE DES DONNEES</td><td>15</td></tr><tr><td>2.5.1 EXPLOITATION DU QUESTIONNAIRE</td><td>15</td></tr><tr><td>2.5.2 ANALYSES STATISTIQUES</td><td>15</td></tr><tr><td>3 RESULTATS</td><td>16</td></tr><tr><td>3.1 MISE EN PLACE D'UN PORTFOLIO</td><td>16</td></tr><tr><td>3.2 STRUCTURE ET CONTENU DU PORTFOLIO</td><td>17</td></tr><tr><td>3.3 TUTORAT</td><td>20</td></tr><tr><td>3.4 PROCEDURES DE VALIDATION</td><td>21</td></tr><tr><td>3.5 TYPOLOGIE DES REPONSES</td><td>23</td></tr><tr><td>3.6 ADEQUATION DES REPONSES AVEC LES PORTFOLIOS RECUPERES</td><td>25</td></tr><tr><td>4 DISCUSSION</td><td>25</td></tr><tr><td>4.1 RESULTATS PRINCIPAUX ET SECONDAIRES</td><td>25</td></tr><tr><td>4.2 HETEROGENEITE DES PORTFOLIOS</td><td>25</td></tr><tr><td>4.2.1 MISE EN PLACE D'UN PORTFOLIO</td><td>25</td></tr><tr><td>4.2.2 STRUCTURE ET CONTENU DU PORTFOLIO</td><td>26</td></tr><tr><td>4.2.2.1 Support du portfolio</td><td>26</td></tr><tr><td>4.2.2.2 Trame du portfolio</td><td>26</td></tr><tr><td>4.2.2.3 Contenu</td><td>26</td></tr><tr><td>4.2.3 TUTORAT</td><td>28</td></tr></table>
<table><tr><td>4.2.4</td><td>EVALUATION DES PORTFOLIOS</td><td>29</td></tr><tr><td>4.3</td><td>TYPOLOGIE DES REPONSES</td><td>30</td></tr><tr><td>4.4</td><td>COMPARAISON AVEC LES PORTFOLIOS RECUPERES</td><td>30</td></tr><tr><td>4.5</td><td>COMPARAISON AVEC LES PORTFOLIOS DES AUTRES DISCIPLINES</td><td>31</td></tr><tr><td>4.6</td><td>VALIDITE DES RESULTATS</td><td>34</td></tr><tr><td>4.6.1</td><td>FORCES DE L'ETUDE</td><td>34</td></tr><tr><td>4.6.2</td><td>LIMITES DE L'ETUDE</td><td>34</td></tr><tr><td>5</td><td>CONCLUSION</td><td>35</td></tr><tr><td>6</td><td>ANNEXES</td><td>36</td></tr><tr><td>6.1</td><td>EVALUATION QUALITATIVE D'UN RSCA</td><td>36</td></tr><tr><td>6.2</td><td>QUESTIONNAIRE EN LIGNE</td><td>38</td></tr><tr><td>6.3</td><td>ANALYSE DES PORTFOLIOS RECUPERES</td><td>46</td></tr><tr><td>6.4</td><td>FICHES D'EVALUATION DES COMPETENCES INFIRMIERES</td><td>48</td></tr><tr><td>7</td><td>REFERENCES</td><td>50</td></tr></table>
## Glossaire

ACM : Analyse de Concordance Multiple

APC : Approche Par Compétences

DES : Diplôme d'Études Spécialisées

CNGE : Collège National des Généralistes Enseignants

DMG : Département de Médecine Générale

EPU : Enseignement Post Universitaire

FMC : Formation Médicale Continue

GEP : Groupes d'Échanges de Pratique

LCA : Lecture Critique d'Article

MSU : Maître de Stage des Universités

RSCA : Récit de Situation Complexe Authentique
Résumé

Le portfolio de médecine générale : contenu et modes d'évaluation dans les
Départements de Médecine Générale français.

Ariza M (1), Ferrat E (2), Adeline F (2), Chartier S (2), Chaboche A (2), Compagnon L (2)

1. CHU d'Amiens

2. Département de Médecine Générale de l'Université Paris Est Créteil

Mots clés : pédagogie médicale, portfolio, évaluation, médecine générale

**INTRODUCTION** : Le portfolio est un outil d'évaluation reconnu dans le modèle d'apprentissage par compétence. Alors que ce modèle a été adopté par le Collège National des Généralistes Enseignants, il y a peu de données sur l'utilisation des portfolios en médecine générale en France. L'objectif était de décrire l'utilisation du portfolio dans les Départements de Médecine Générale (DMG), en analysant les points communs et les divergences vis-à-vis de son contenu et de son mode d'évaluation.

**METHODES** : Étude observationnelle transversale par questionnaires électroniques adressés à tous les DMG en 2014. Le type de support, le contenu et les processus d'évaluation du portfolio, ainsi que le rôle du tutorat ont été explorés. Les sites internet des DMG ont permis de compléter certaines données manquantes.

**RESULTATS** : Parmi les 35 DMG analysés, 29 utilisaient un portfolio et 24 exigeaient un contenu minimum. Parmi les portfolios, 17 avaient un support informatique, 28 contenaient des Récits de Situation Complexe Authentique (RSCA), 17 des journaux de bord, et 22 des traces écrites liées à un enseignement. Le contenu minimum exigé était d'au moins un RSCA par semestre d'internat pour 15 portfolios. 29 DMG bénéficiaient d'un tutorat pouvant être individuel, collectif, ou mixte. Pour évaluer le portfolio, 13 DMG utilisaient la grille standard d'évaluation d'un RSCA, 7 utilisaient une liste des situations prévalentes ou des compétences à renseigner. Les validations reposaient sur la décision ou au moins sur l'avis du tuteur (19 DMG), sur un passage devant un jury (14 DMG), ou sur la décision d'un membre du DMG (10 DMG).

**CONCLUSION** : Les DMG s'entendent majoritairement pour utiliser un portfolio ; son contenu et l'apport du tuteur sont l'objet de nombreuses convergences, mais il existe de grandes disparités quant à son mode d'évaluation, ce qui pourrait faire l'objet d'une discussion collective nationale.
**The portfolio of general medicine: content and evaluation methods in the french Departments of General Medicine.**

Ariza M, Adeline F, Ferrat E, Chartier S, Chaboche A, Compagnon L

**Introduction:** The portfolio is a recognized assessment tool in the competency learning model. While this model has been adopted by the National College of Generalist Teachers, there is little data on the use of portfolios in general practice in France.

**Objective:** The objective was to describe the use of the portfolio in Departments of General Medicine (DGM), analysing the similarities and divergences toward its content and its evaluation mode.

**Methods:** Cross-sectional study by electronic questionnaires sent to all DGM in 2014. The media type, content and portfolio evaluation process, as well as the role of tutoring were explored. The websites of DGM helped complete some missing data.

**Results:** Of the 35 analysed DGM, 29 used a portfolio and 24 required a minimum content. Among the portfolios, 17 had a computer support, 28 contained Narratives of Authentic Complex Situations (NACS), 17 logbooks, and 22 written records related to teaching. The required minimum content was at least one NACS per internship semester for 15 portfolios. 29 DGM benefited from tutoring that could be individual, collective, or mixed. In assessing the portfolio, 13 DGM used the standard evaluation grid of NACS, 7 used a list of prevailing situations or skills to complete. Validations were based on the decision or at least the opinion of the tutor (19 DGM), a passage to a board of examiners (14 DGM), or the decision of a member of DGM (10 DGM).

**Conclusion:** The DGM strongly agree on using a portfolio; its content and the contribution of the tutor are subject to many similarities, but there are large disparities in the evaluations mode, which could start a national collective discussion.
# 1 Introduction

## 1.1 L'approche par apprentissage

Le domaine de l'enseignement et de l'apprentissage a évolué, deux grands courants pédagogiques ont été à l'origine des cursus de médecine générale : le paradigme d'enseignement et le paradigme constructiviste. Selon le paradigme d'enseignement, les professeurs sont au centre de la transmission des savoirs, ils en sont les dispensateurs et les examinateurs. Les étudiants reçoivent passivement l'information, et l'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages [1]. Cependant il est devenu admis que les principes issus du paradigme constructiviste étaient les plus susceptibles de provoquer et d'assister l'acquisition d'un savoir significatif, réutilisable fonctionnellement et sur le long terme [2]. Selon le paradigme constructiviste, l'apprenant est au cœur de la construction de son savoir. L'apprentissage est alors un processus actif, liant de nouvelles informations à des connaissances antérieures, avec une réorganisation constante des connaissances.

## 1.2 L'approche par compétences

Se basant sur le constructivisme, l'approche par compétences a pris racine en France à la fin des années 1990. Elle visait à répondre au hiatus entre la diversification des connaissances enseignées et les qualifications pragmatiques exigées par le monde professionnel.

Une compétence se définit comme un savoir-agir complexe évolutif qui intègre des ressources de nature variée et les combine d'une façon propre à chaque situation [3].

En 2010 est apparu le référentiel métier de la médecine générale [4], co-rédigé sous l'égide du Collège national des généralistes enseignants (CNGE) et du Ministère des Affaires Sociales, de la Santé et des Droits des Femmes. Répondant à l'augmentation des actes de haute technicité, à la mise en place de l'évaluation des médecins selon des procédures de qualité, et à l'évolution des attentes des patients, ce travail a décrit le métier et les compétences requises pour exercer la profession de médecin généraliste. Sous l'impulsion du CNGE cette approche par compétences a fondé par la suite le cœur de la pédagogie utilisée pour former les futurs médecins généralistes en France [5].
## 1.3 Le portfolio

Le portfolio est un outil apporté récemment à la pédagogie médicale basée sur l'apprentissage, permettant de documenter l'acquisition des compétences de l'étudiant [6]. Il est utilisé comme une collection de toutes les traces signifiantes d'apprentissages réalisés par l'étudiant. Il contient ses progrès, ses recherches, les travaux qu'il a réalisés tout au long de ses études, ainsi que tout matériel relatif à son apprentissage. L'analyse de ce portfolio doit donner des indices importants sur la qualité des apprentissages et le niveau de compétence maitrisé par l'interne. En 2014, la majorité des Départements de Médecine Générale (DMG) déclaraient utiliser un Portfolio [7,8].

Il n'y avait pas au moment de l'étude de recommandations précises en France sur l'utilisation d'un portfolio pour certifier les compétences. Son contenu, son support et son mode d'évaluation pouvaient varier fortement d'un Département de Médecine Générale (DMG) à l'autre, car ces sujets étaient laissés à leur libre appréciation.

Pour améliorer l'équité entre les internes et répondre à une démarche de qualité des cursus, une harmonisation de la formation et de l'évaluation en médecine générale en France devait être envisagée. Ceci requérait une harmonisation des demandes des DMG en termes de traces d'apprentissages. Pour y parvenir il était d'abord nécessaire de connaître ce qui se faisait autour du portfolio dans les DMG de France, pour esquisser ce qui aurait constitué une base commune de facto. Plusieurs études avaient observé l'application des portfolios français [7-9], mais aucune n'avait étudié dans les détails tous les aspects des portfolios en interrogeant directement l'ensemble des DMG.

## 1.4 Objectifs

L'objectif de cette étude était de décrire les points communs et les divergences des portfolios utilisés dans les différents DMG en termes de contenu, d'utilisation et de modes d'évaluation.
# 2 Méthode

## 2.1 Type et période d'étude

Cette étude a été observationnelle transversale descriptive, et a été réalisée en août 2014.

## 2.2 Population d'étude

La population d'étude s'est étendue à tous les Départements de Médecine Générale (DMG) de France, qui décidaient du contenu, évaluaient et validaient éventuellement les portfolios. Dans chaque DMG un généraliste enseignant a été choisi pour répondre au questionnaire. Le choix du médecin a été fait selon l'attribution du rôle de responsable pédagogique, de responsable portfolio ou, à défaut, de chef de clinique.

## 2.3 Recueil des données

Les généralistes enseignants choisis ont été contactés par courriel ou téléphone en août 2014 et il leur a été proposé de remplir un questionnaire en ligne explorant le support, le contenu et les processus d'évaluation du portfolio de médecine générale.

Le questionnaire de l'étude a été complété par les DMG du 28 août 2014 au 15 décembre 2014. Le questionnaire pouvait être renseigné en une dizaine de minutes. Il a été modélisé sur formulaire GOOGLE® et les données ont été extraites sur un tableur EXCEL®. Chaque questionnaire a été complété dans la mesure du possible par l'analyse d'un exemplaire de portfolio finalisé et anonymisé. L'analyse des données a été faite par le thésard et sa directrice de thèse par lecture croisée.

En cas d'absence de réponse au questionnaire, des relances par courriel à 15 jours puis par téléphone avaient été prévues. En cas d'absence de réponse au questionnaire malgré les relances, certaines données manquantes ont été comblées par des recherches sur les sites internet des DMG concernés.

## 2.4 Construction du questionnaire et définition des variables

### 2.4.1 Utilisation d'un portfolio

Afin de distinguer les DMG qui n'utilisaient pas le portfolio par conviction de ceux qui y étaient intéressés mais ne l'utilisaient pas, il a été demandé aux DMG répondant ne pas
utiliser de portfolio si ce dernier leur semblait néanmoins intéressant (sur une échelle de 1 à 5), et quels en étaient les avantages et inconvénients.

### 2.4.2 Cadre d'utilisation du portfolio

Il a été demandé aux DMG :

* s'il existait un support didactique d'utilisation du portfolio, et de le fournir éventuellement ;

* sur quelle période du cursus ils utilisaient le portfolio ;

* s'ils utilisaient un support papier, informatique, en ligne, ou libre ;

* s'il existait une trame chronologique, par rubriques ou par compétences ;

* si cette trame était imposée ;

* et de préciser quelles étaient les différentes rubriques utilisées.

### 2.4.3 Contenu

Bien que le portfolio pouvait par définition contenir toute trace signifiante d'apprentissage [6,10], la question du contenu a été posée en deux questions fermées (Annexe 1). L'exhaustivité des types de traces signifiantes a été recherchée, et une case « Autre » permettait de compléter en texte libre au besoin.

### 2.4.4 Evaluation

Le portfolio pouvait faire l'objet d'une évaluation sommative (sanctionnante), formative (éducative simple), voire les deux [11]. Il a été demandé aux DMG :

* si le portfolio était utilisé à des fins de certification,

* s'il faisait office de mémoire de DES,

* s'il était nécessaire pour valider le DES,

* s'il était utilisé pour inférer le niveau de compétences de l'interne à l'issue du DES,

* de préciser qui était chargé de lire et de commenter le portfolio,

* de préciser qui était responsable de la validation du portfolio entre le DMG, les MSU, et le tuteur,

* s'il existait des critères définis pour l'évaluation du portfolio,

* si les internes avaient connaissance de ces critères, et si les évaluateurs y avaient été formés,

* de préciser qui avait défini ces critères,

* de décrire ou de fournir une copie de ces critères,
* et d'expliciter le processus de validation du portfolio.

### 2.4.5 Tutorat

L'utilisation conjointe d'un tutorat avec le portfolio étant recommandé [10,12], il a été demandé aux DMG :

* s'il existait un tutorat, et s'il était individuel, de groupe, ou mixte ;

* si le tuteur avait un rôle dans l'élaboration, l'évaluation, ou la validation du portfolio ;

* de préciser le rôle éventuel du tuteur dans la validation du portfolio.

### 2.4.6 Exemple de portfolio

Le questionnaire se terminait par une demande de partage d'un portfolio finalisé, fourni soit par le biais du DMG, soit par le volontariat en communiquant la demande aux internes de médecine générale. En l'absence de transmission par les DMG d'un portfolio finalisé, quelques portfolios ont été recouvrés en demandant directement à des internes des DMG concernés.

## 2.5 Analyse des données

### 2.5.1 Exploitation du questionnaire

Afin d'être le plus exhaustif possible dans la collecte des informations, certaines questions de l'étude furent des questions ouvertes. Une traduction sémantique des verbatims a été réalisée pour offrir une lecture plus structurée et lisible des résultats. Par exemple dans la question « Quelles rubriques utilisez-vous ? », la réponse « Prévention, dépistage » a été traduite en « Actions de santé publiques » qui regroupait d'autres réponses.

### 2.5.2 Analyses statistiques

Afin de compléter l'analyse descriptive, une analyse de concordances multiples a été réalisée. Les réponses aux questionnaires ont été recodées en variables numériques ordinales pour cette analyse. Les réponses aux questions ouvertes n'ont pas été codées du fait de leur trop grande variabilité et n'ont pas été prises en compte dans l'analyse statistique. Les analyses ont été faites sous le logiciel R (version 3.1.2).
# 3 Résultats

Sur les 35 facultés contactées, 26 ont répondu au questionnaire, et 3 portfolios finalisés ont été récupérés. Certaines données manquantes ont été retrouvées par le biais des sites des DMG.

## 3.1 Mise en place d'un portfolio

Le portfolio comme support de formation des internes était mis en place dans 29 DMG (83%) (Tableau 1). Il était largement utilisé durant toute la durée de l'internat (n=28), et son support était majoritairement informatique (n=17). Pour aider à sa rédaction 21/29 DMG (72%) proposaient un document didactique explicatif. Le portfolio était le plus souvent nécessaire à la validation du DES (n=27), mais moins de la moitié des portfolios étaient utilisés pour inférer le niveau de compétences à la fin du DES (n=12). Le mémoire de médecine générale et les enseignements facultaires étaient nécessaires à la validation finale du DES. Étaient ainsi également considérés comme indispensables à la validation du DES les portfolios faisant office de mémoire de DES ainsi que les portfolios nécessaires à la validation des enseignements.

<table><caption>Tableau 1 : Portfolio et cadre global</caption><tr><td>Existence d'un portfolio (N=35)</td><td>29 (83%)</td></tr><tr><td>Pendant tout l'internat (N=29)</td><td>28 (97%)</td></tr><tr><td colspan="2"><strong>Support : (N=28)</strong></td></tr><tr><td>Informatique</td><td>17 (60%)</td></tr><tr><td>En ligne</td><td>10 (36%)</td></tr><tr><td>Papier</td><td>2 (7%)</td></tr><tr><td>Libre</td><td>9 (32%)</td></tr><tr><td colspan="2"><strong>Objectifs : (N=29)</strong></td></tr><tr><td>Validation du DES</td><td>27 (93%)</td></tr><tr><td>Certifier les compétences</td><td>12 (41%)</td></tr></table>
## 3.2 Structure et contenu du portfolio

Une trame standard était proposée dans 22 des DMG, par documents ou chapitres (n=16), chronologique (n=12) ou par compétences (n=6) (Tableau 2). Cette trame n'était imposée aux internes que pour 11 DMG.

Il existait des chapitres pour 21/28 des portfolios (75%), dont les intitulés étaient variés et étaient présentés dans le Tableau 3. Des regroupements des intitulés de chapitres ont été faits pour plus de clarté, par thème. Certains regroupements comme « Travaux de stage » ont été spontanément décrits comme étant des chapitres, et d'autres comme « Éléments de formation » étaient des traductions simplifiées de noms de chapitres décrits. Les principaux regroupements de noms de chapitres étaient : « Travaux de stage » (95% des chapitres définis), « Eléments de formation » (62%), « Compétences et évaluation » (67%), et « Productions personnelles » (57%).

<table><caption>Tableau 2 : Trame du portfolio</caption><tr><td>Existence d'une trame standard : (N=26)</td><td>22 (85%)</td></tr><tr><td>Par document ou chapitres</td><td>16 (62%)</td></tr><tr><td>Chronologique</td><td>12 (46%)</td></tr><tr><td>Par compétences</td><td>6 (23%)</td></tr><tr><td>Imposée</td><td>11 (41%)</td></tr></table>
<table><caption>Tableau 3 : Chapitres du portfolio</caption><tr><td>Existence de Chapitres : (N=28)</td><td>21 (75%)</td></tr><tr><td>Travaux de stage (N=21)</td><td>20 (95%)</td></tr><tr><td>RSCA</td><td>n=10</td></tr><tr><td>Liste de thèmes de RSCA</td><td>n=3</td></tr><tr><td>Journal de bord</td><td>n=10</td></tr><tr><td>Actions de santé publique</td><td>n=3</td></tr><tr><td>Synthèses de stage</td><td>n=2</td></tr><tr><td>Gestes techniques</td><td>n=2</td></tr><tr><td>Évènements critiques</td><td>n=1</td></tr><tr><td>Chronologie des semestres</td><td>n=1</td></tr><tr><td>Éléments de formation (N=21)</td><td>13 (62%)</td></tr><tr><td>Congrès/FMC</td><td>n=7</td></tr><tr><td>GEP</td><td>n=6</td></tr><tr><td>DESC/DU</td><td>n=2</td></tr><tr><td>Tests de lecture ou autre</td><td>n=2</td></tr><tr><td>Jeux de rôles</td><td>n=1</td></tr><tr><td>Travaux de modules facultaires</td><td>n=1</td></tr><tr><td>Tutorat (N=21)</td><td>6 (29%)</td></tr><tr><td>Compétences et évaluation (N=21)</td><td>14 (67%)</td></tr><tr><td>Espace enseignants/évaluation</td><td>n=4</td></tr><tr><td>Productions personnelles (N=21)</td><td>12 (57%)</td></tr><tr><td>Thèse ou fiche de thèse</td><td>n=9</td></tr><tr><td>Recherches personnelles</td><td>n=4</td></tr><tr><td>Mémoire</td><td>n=2</td></tr><tr><td>Présentations orales</td><td>n=2</td></tr><tr><td>LCA</td><td>n=1</td></tr><tr><td>Revue de presse</td><td>n=1</td></tr><tr><td>Autre</td><td></td></tr><tr><td>Espace privé</td><td>n=2</td></tr><tr><td>CV</td><td>n=4</td></tr><tr><td>Documents administratifs et agenda</td><td>n=2</td></tr><tr><td>Document de synthèse (N=21)</td><td>4 (19%)</td></tr></table>
Concernant le contenu (Tableau 4), en rapport avec les stages il a été retrouvé essentiellement des RSCA (28/29, 97%), des journaux de bord (17/29, 59%), et des évaluations de stage (11/29, 38%). Les traces d'enseignements ou de formations étaient quant à elles présentes dans 76% des portfolios (22/29).

<table><caption>Tableau 4 : Contenu du portfolio</caption><thead><tr><th></th><th></th></tr></thead><tbody><tr><td colspan="2"><strong>Contenu en rapport avec les stages (N=29)</strong></td></tr><tr><td>RSCA</td><td>28 (97%)</td></tr><tr><td>Journaux de bord</td><td>17 (59%)</td></tr><tr><td>Évaluations de stage</td><td>11 (38%)</td></tr><tr><td>Présentations</td><td>10 (34%)</td></tr><tr><td>Synthèses globales de stage</td><td>5 (17%)</td></tr><tr><td>Rapport d'incidents critiques</td><td>4 (14%)</td></tr><tr><td colspan="2"><strong>Contenu en rapport avec l'enseignement facultaire (N=29)</strong></td></tr><tr><td>Traces d'enseignements/formations</td><td>22 (76%)</td></tr><tr><td>Travaux en groupe d'internes</td><td>20 (69%)</td></tr><tr><td>Comptes rendus de rencontre avec le tuteur</td><td>14 (48%)</td></tr><tr><td>Résumé de la thèse</td><td>10 (34%)</td></tr><tr><td><strong>Exigence d'un contenu minimum (N=29)</strong></td><td>24 (84%)</td></tr></tbody></table>

Un contenu minimum (Tableaux 4 et 5) était demandé dans 24/29 (83%) des DMG.
<table><caption>Tableau 5 : Contenu minimum exigé par les DMG dans leur portfolio</caption><thead><tr><th colspan="5">Quantité minimum exigée</th></tr></thead><tbody><tr><th scope="row">RSCA</th><td>2-3 (n=5)</td><td>6 (n=7)</td><td>8-9 (n=2)</td><td>12 (n=6)</td></tr><tr><th scope="row">Traces</th><td>5-6 (n=3)</td><td>10 (n=2)</td><td>12 (n=3)</td><td>59 ou plus (n=2)</td></tr><tr><th scope="row">Évènements critiques</th><td>3 (n=1)</td><td>12 (n=1)</td><td></td><td></td></tr></tbody></table>

<table><thead><tr><th colspan="5">Détail des éléments demandés</th></tr></thead><tbody><tr><th scope="row">Traces spécifiques</th><td>Récits de rencontre avec les familles (n=1)</td><td>Action de santé publique (n=1)</td><td>3 séances d'éducation thérapeutique (n=1)</td><td></td></tr><tr><th scope="row">En fin de stage</th><td>Un rapport de stage par semestre (n=3)</td><td>Fiche de validation des stages (n=2)</td><td></td><td></td></tr><tr><th scope="row">Travaux de groupe</th><td>3-4 comptes rendus de GEP (n=2)</td><td>Tous les comptes rendus de GEP (n=1)</td><td>Description d'un jeu de rôle médecin (n=1)</td><td></td></tr><tr><th scope="row">Tutorat</th><td>Comptes rendus de rencontres avec les tuteurs (n=5)</td><td>Evaluation formative par tuteur (n=1)</td><td></td><td></td></tr><tr><th scope="row">Formation</th><td>1 compte rendu de formation par an (n=2)</td><td>8h de formation EPU (n=1)</td><td>9 traces d'enseignement (n=1)</td><td></td></tr><tr><th scope="row">Autoformation</th><td>Un test de lecture (n=1)</td><td>3 fiches de LCA (n=1)</td><td></td><td></td></tr><tr><th scope="row">Compétences</th><td>Axes de perfectionnement (n=1)</td><td>Auto-évaluation des compétences (n=5)</td><td>24 points de compétences (n=1)</td><td></td></tr><tr><th scope="row">Documents majeurs</th><td>Document de synthèse (n=1)</td><td>Mémoire (n=1)</td><td>Fiche de thèse (n=3)</td><td></td></tr></tbody></table>

### 3.3 Tutorat

Il existait un tutorat dans 29/35 DMG (83%), essentiellement individuel (15/29 DMG) (Tableau 6). Le tuteur était majoritairement impliqué dans l'élaboration (24/27 DMG), l'évaluation (n=23), et la validation (n=19) du portfolio.
<table><caption>Tableau 6 : Tutorat</caption><tr><td><strong>Existence d'un tutorat :</strong> (N=35)</td><td>29 (83%)</td></tr><tr><td>Individuel</td><td>15 (52%)</td></tr><tr><td>De groupe</td><td>8 (28%)</td></tr><tr><td>Mixte</td><td>6 (21%)</td></tr><tr><td>Lit et commente le portfolio</td><td>21/27 (78%)</td></tr><tr><td><strong>Rôle dans :</strong> (N=27)</td><td></td></tr><tr><td>Son élaboration</td><td>24 (89%)</td></tr><tr><td>Son évaluation</td><td>23 (85%)</td></tr><tr><td>Sa validation</td><td>19 (70%)</td></tr></table>

## 3.4 Procédures de validation

La validation du portfolio était nécessaire à la validation du DES pour 27/29 (93%) des DMG (Tableau 1). Il était utilisé dans l'inférence de l'acquisition des compétences de l'interne pour 12/29 (41%) des DMG.

Des critères de validation du portfolio ont été mentionnés par 19/30 (63%) des DMG (Tableau 7). Ils étaient créés par le DMG (14/15), tous connus des étudiants (19/19) et des évaluateurs (15/15). Les critères utilisés relevaient essentiellement d'une grille qualitative de validation d'un RSCA (13/17), assez homogène entre les DMG, qui comportait des items qualitatifs sur le caractère narratif, pertinent, complexe, réflexif et documenté du RSCA (Annexe 1). Seuls 2 DMG ont présenté un support écrit d'évaluation globale du portfolio, mêlant une évaluation quantitative du nombre de traces par rapport à leur nombre attendu, et une synthèse des évaluations qualitatives des traces.
<table><caption>Tableau 7 : Validation du portfolio</caption><tbody><tr><td><strong>Critères de validation</strong></td><td>19/30 (63%)</td></tr><tr><td>Créés par le DMG</td><td>14/15 (93%)</td></tr><tr><td>Tirés de la revue Exercer</td><td>1/15 (7%)</td></tr><tr><td>Connus des étudiants</td><td>19/19 (100%)</td></tr><tr><td><strong>Outils utilisés</strong> (N=17)</td><td></td></tr><tr><td>Grille d'évaluation d'un RSCA</td><td>13 (76%)</td></tr><tr><td>Liste des situations prévalentes</td><td>5 (29%)</td></tr><tr><td>Liste des compétences à acquérir</td><td>4 (26%)</td></tr><tr><td><strong>Décisionnaire finale</strong> (N=28)</td><td></td></tr><tr><td>DMG</td><td>10 (34%)</td></tr><tr><td>Jury</td><td>14 (50%)</td></tr><tr><td>Tuteur</td><td>5 (18%)</td></tr></tbody></table>

La charge de la validation finale du portfolio relevait soit d'un jury de médecins (14/28), soit du DMG seul (10/29), soit du tuteur seul (5/28). Le jury, quand il était décrit, était composé à 88 % (n=7) d'au moins 3 médecins, avec systématiquement un membre du DMG. Il pouvait n'être composé que de membres du DMG (n=2), ou inclure un MSU (n=3), un tuteur (n=2), voire un PUPH (n=2).

Le tuteur donnait son avis simple avant décision de validation finale dans 14/28 (50%) des DMG.
## 3.5 Typologie des réponses

L'analyse de concordance multiple a permis de dresser un dendrogramme de classification ascendante hiérarchique. Les DMG ont d'abord été classés en 6 groupes au regard de la pente d'inertie, puis ils ont été regroupés en quatre groupes. Ces quatre groupes, plus facilement interprétables, représentent les portraits robots des différents types de réponses au questionnaire.

<figure><img src="image_2.png" /><figcaption>Figure 1 : Regroupement des DMG selon leurs réponses au questionnaire</figcaption></figure>
* Groupe A (n=6) : Ce groupe contient les DMG où il n'existait pas de portfolio. Le portfolio n'y était pas prévu (DMG de Marseille, de Rouen, et de Strasbourg), et avec un tutorat de groupe quand il y en avait un, ou bien en cours d'élaboration (DMG de Caen, de Marseille, et de Nancy). Dans ce deuxième cas, il était prévu que le portfolio soit certifiant une fois mis en place. Le tutorat était plus présent dans ces DMG, et ceux-ci prévoyaient de donner au tuteur un rôle dans l'élaboration et l'évaluation du futur portfolio.

* Groupe B (n=3) : Dans ce groupe, il existe un portfolio certifiant, plutôt informatique et en ligne, mais pas de tutorat. Les caractéristiques des portfolios ne convergent pas. Il s'agit des DMG d'Amiens, des Antilles Guyane, et de Lille.

* Groupe C (n=2) : Il existe un portfolio dans ce groupe, sans contenu minimum exigé, ni trame standard, ni critères définis d'évaluation. Il y existe un tutorat individuel, mais le tuteur n'y a pas de rôle dans l'évaluation ou la validation du portfolio. Il s'agit des DMG de Grenoble et de Rennes.

* Groupe D (n=24) : Ce groupe intègre la majorité des DMG. Les points convergents sont la présence d'un portfolio certifiant, la présence d'un document didactique expliquant aux étudiants l'intérêt du portfolio, et l'exigence d'un contenu minimum au portfolio. Il y existe un tutorat, et le tuteur a un rôle à la fois dans l'élaboration, l'évaluation et la validation du portfolio.

Les divergences portent sur la présence d'une trame, de chapitres, le support, le type de tutorat et l'existence de critères d'évaluation.

Majoritairement dans ce groupe les DMG avaient choisi l'incorporation de chapitres et d'une trame standard au portfolio, un support informatique, un tutorat individuel, et l'utilisation de critères standardisés pour l'évaluation du portfolio. Ce groupe contient les DMG de l'inter-région Ile de France, d'Angers, de Besançon, de Bordeaux, de Brest, de Clermont-Ferrand, de Dijon, de La Réunion, de la faculté Libre de Lille, de Limoges, de Lyon, de Nantes, de Nice, de Poitiers, de Reims, de Saint Etienne, de Toulouse, et de Tours.
## 3.6 Adéquation des réponses avec les portfolios récupérés

Seulement 3 portfolios ont pu être récupérés. Deux DMG nous ont adressé un exemple de portfolio mais sans nous envoyer le fichier. Deux autres ne pouvaient pas le faire techniquement, dont un qui n'avait qu'un portfolio papier. Les portfolios récupérés ont concordé avec les réponses données dans les questionnaires. Certaines rubriques comme « CV » ou « Thèse et mémoire » étaient présente dans les portfolios sans être décrites dans les questionnaires. À l'inverse, certains contenus décrits comme obligatoires dans les questionnaires n'ont pas été retrouvés dans les portfolios (Annexe 3).

# 4 Discussion

## 4.1 Résultats principaux et secondaires

La majorité des Départements de Médecine Générale utilisent un portfolio, dont les caractéristiques dominantes sont celles du Groupe D. Le portfolio est expliqué par un document didactique, et son support est informatique. Il s'écrit durant tout l'internat, nécessite un contenu minimum, et possède une trame standard et des chapitres. Il est encadré par un tutorat individuel qui a un rôle à la fois dans l'élaboration, l'évaluation et la validation du portfolio. Il est obligatoire et certifiant, et est évalué selon des critères standardisés.

## 4.2 Hétérogénéité des portfolios

Les portfolios des différents DMG sont assez hétérogènes, autant dans leur forme que dans leur contenu ou leur évaluation. Cette hétérogénéité dans un outil pédagogique qui semble majeur à la formation des internes rend inégale la formation de ces internes.

### 4.2.1 Mise en place d'un portfolio

Pour expliquer aux internes ce qu'il est attendu de leur portfolio, la majorité des DMG déclaraient disposer d'un document didactique expliquant les modalités du portfolio. Ce document s'est également révélé très hétérogène selon les DMG, variant d'un paragraphe succinct inséré dans le livret présentant tout le DES de Médecine générale à un document spécifique au portfolio de plus de 50 pages. Les DMG de l'inter-région Ile de France proposent déjà un document commun à l'inter-région [13]. Si les DMG français s'accordent sur le portfolio il serait plus efficient pour tous de proposer un document didactique unique à l'échelle national. Il semble pertinent d'inclure dans ce document la description de l'intérêt du
portfolio, une définition claire des traces et des RSCA, le contenu minimum attendu, et la manière dont sera évalué le portfolio.

## 4.2.2 Structure et contenu du portfolio

### 4.2.2.1 Support du portfolio

Traditionnellement le portfolio n'existait que sous format papier et se présentait comme une compilation plus ou moins organisée de documents [14]. Certains DMG continuent de l'utiliser sous ce format. Un support libre reste également parfois proposé, du fait d'une meilleur adhérence de l'étudiant à son portfolio quand il en choisit le support [14]. Cependant, du fait de l'amélioration de l'ergonomie apportée par l'informatisation, grâce aux hyperliens permettant de naviguer plus facilement d'une trace à une autre, et à l'ajout de contenu multimédia (photos, vidéos ou enregistrements de consultations, documents), le portfolio informatique est devenu recommandé par certains auteurs [11,15]. Au-delà de l'informatisation, la mise en ligne du portfolio a permis à ses relecteurs de se passer des problèmes de versions et de clef USB, en le centralisant à un même endroit, où il était écrit, lu, et commenté. L'e-portfolio demande néanmoins plus de rigueur et reste plus complexe à implémenter [15-17].

### 4.2.2.2 Trame du portfolio

Il existe plusieurs manières d'organiser le portfolio : par ordre chronologique (ordre strict, par semestre, ou années), ou bien par rubriques telles des chapitres (journaux de bord, synthèses de stage, traces d'enseignements, travaux de recherche, etc.), voire enfin par compétences où les traces viennent démontrer l'acquisition d'objectifs de compétences. Il reste complexe pour des internes de début de cursus de ranger d'emblé leurs écrits au sein de compétences. Le Dr Goutorbe, dans sa thèse d'exercice sur le portfolio, propose ainsi une organisation du portfolio en rubriques documentant des apprentissages distincts [7].

### 4.2.2.3 Contenu

Certains chapitres, tels que « Documents administratifs », ou « CV » n'ont pas été mentionnés dans les réponses à la question des chapitres utilisés, alors qu'ils ont parfois été retrouvés dans les portfolios parcourus. Il est possible qu'ils aient parus moins importants à préciser, mais cela a pu sous-estimer la fréquence de leur utilisation et la réalité du contenu des portfolios.
Le document de synthèse est obligatoire et doit être présenté pour la validation du DES dans tous les DMG. Il n'est que très rarement mentionné dans le contenu nécessaire au portfolio, alors que l'on s'attendrait à le voir clôturer les portfolios de tous les DMG.

Dans une réponse au questionnaire le contenu minimum exigé d'un portfolio d'un DMG est
de « 12 traces ». Cela peut être compris comme 12 RSCA mais aussi comme 12 comptes rendus de FMC, moins intéressants pour évaluer un interne que les RSCA.

Cette étude ne s'est pas penchée spécifiquement sur le détail des RSCA, mais il est légitime de se demander si tous les DMG ont la même définition du RSCA, et si cette définition est bien comprise et appliquée par les étudiants. Il y a un risque de confusion entre journal de bord, trace d'apprentissage et RSCA (comme le montre une réponse au questionnaire d'un DMG : « 12 traces d'apprentissage, en pratique 12 RSCA »), et un risque de considérer une trace d'apprentissage de plus d'une page comme un RSCA.

Pour rappel le RSCA est un récit de situation complexe authentique. C'est un récit dans le sens où l'auteur est impliqué personnellement dans la situation rapportée et emploie la première personne du singulier. La situation rapportée est complexe : il ne s'agit pas de décrire un cas clinique universitaire ou une maladie rare mais plutôt une problématique impliquant des enjeux bio-psycho-sociaux. La situation est authentique : la logique pédagogique du portfolio exige que l'apprentissage professionnel se base sur les expériences personnelles de l'étudiant. Suite à ce récit l'étudiant apporte une analyse réflexive qui aboutit à une autoévaluation, renseignant les compétences qu'il a pu mettre en action et celles qui lui ont manquées.

La notion de trace en elle même mérite clarification, tant son utilisation semble variée. Une trace d'apprentissage peut être clinique ou non. Un RSCA est une trace d'apprentissage clinique qui répond aux critères sus-cités. Les autres traces d'apprentissages cliniques peuvent prendre la forme d'un « Journal ou carnet de bord », d'une « Liste d'incidents critiques » ou encore d'un relevé d'activité. Le Journal de bord renseigne des situations cliniques qui ont posé problème à l'étudiant et les solutions apportées, répondant à un objectif d'apprentissage. Une trace de Journal de bord peut servir d'exemple d'apprentissage d'une ressource à acquérir ou même contribuer à la démonstration de l'acquisition d'un niveau de maitrise d'une compétence complexe. Le terme de Journal de bord est parfois utilisé également pour désigner la liste des actes réalisés en consultation, avec renseignement du sexe, âge et motif de consultation par exemple. Ce listing systématique de l'activité sans description ni analyse ne répond pas à la définition d'une trace d'apprentissage clinique et mériterait une autre appellation, telle que « Relevé d'Activité au Quotidien ».
Il est intéressant de noter que dans le DMG de Poitiers ce *Relevé d'Activité au Quotidien* précise également pour chaque acte si l'étudiant se sentait à l'aise et si une difficulté a été rencontrée dans le diagnostic, la relation, la thérapeutique, ou la coordination des soins. L'étudiant devait pointer dans ce *Relevé d'Activité au Quotidien* les consultations qui allaient servir de trace d'apprentissage.

Les traces d'apprentissage non cliniques regroupent toutes les autres formes de traces pouvant être contenues dans le portfolio : acquisition de gestes techniques, participations à des congrès, attestations de FMC, tests de lecture, etc. (Tableau 2). Ces traces d'apprentissages peuvent, contrairement aux traces d'apprentissages cliniques, rester factuelles sans nécessité d'analyses réflexives.

Au vu du vaste panel de types de traces d'apprentissages existants, il convient de se montrer prudent et précis lors de leur dénomination.

Le RSCA est décrit comme contenu dans tous les portfolios, sauf un. Il semble être la base du portfolio. En dehors d'un quota de RSCA qui est demeuré variable, le contenu minimum demandé n'était pas consensuel.

### 4.2.3 Tutorat

Les DMG n'utilisant pas le portfolio utilisaient tous un tutorat de groupe, permettant tout de même d'exprimer verbalement et en groupe des réflexions sur les difficultés rencontrées dans la pratique de la médecine, et de recevoir des conseils des autres.

En allant plus loin, l'impression émerge que les DMG utilisant un tutorat individuel sont plus aboutis dans l'encadrement et la formalisation du portfolio en mentionnant plus facilement l'utilisation de critères d'évaluations précis. La lecture et l'encadrement des portfolios demandant un temps considérable la présence d'un tuteur individuel dédié à l'étudiant est cruciale pour leur utilisation réussie[15].

<table><caption>Tableau 8 : Type de tutorat en fonction de la présence d'un portfolio avec mention de critères d'évaluations</caption><thead><tr><th></th><th>Tutorat individuel</th><th>Pas de tutorat individuel</th></tr></thead><tbody><tr><td>Portfolio avec mention de critères d'évaluation</td><td>11</td><td>7</td></tr><tr><td>Pas de portfolio avec mention de critères d'évaluations</td><td>4</td><td>13</td></tr></tbody></table>

$p_{Chi2} < 0,05$
Cette option pédagogique demande néanmoins un nombre important de tuteurs qu'il faut pouvoir recruter. Certaines régions comme le Nord-Pas de Calais-Picardie, qui ont des cohortes fournies d'internes, n'arrivent pas à motiver suffisamment de tuteurs. Une des raisons à cette carence vient de la nature du travail de tutorat, crucial mais chronophage, mal rémunéré, et donc non attractif. Une piste d'amélioration pour augmenter le nombre de tuteurs serait de recruter, parmi une sélection d'internes en sortie de DES, ceux capables de comprendre et de faire comprendre le modèle du portfolio aux tuteurés. Le principal frein à l'application de cette idée est l'absence de rémunération possible de ces jeunes tuteurs car la réglementation actuelle empêche la rémunération de chargés d'enseignement de plus de 28 ans n'ayant pas fait 3 ans d'exercice de la médecine [18].

### 4.2.4 Evaluation des portfolios

Le mémoire de médecine générale est nécessaire pour valider le DES de médecine générale [19]. Il est décrit dans la loi comme un travail de recherche clinique ou fondamentale, mais il peut prendre plusieurs formes, dont celle d'un ensemble de travaux de recherche qui peut donc être compris comme un portfolio. Dans certains DMG le portfolio faisait office de mémoire de médecine générale, il pouvait alors être considéré comme obligatoire. Dans la majorité des autres DMG, il était nécessaire pour valider le DES ou pour valider les enseignements. Le portfolio était finalement unanimement obligatoire, mais selon des modalités diverses. Le garder obligatoire en l'intégrant simplement dans le mémoire de médecine générale de tous les DMG serait une option à discuter.

Le portfolio a été initialement mis en place pour servir de support d'évaluation des compétences [20]. Peu d'outils ont été validés pour inférer les niveaux de compétence dans les portfolios, pouvant expliquer l'importante hétérogénéité des modes d'évaluation des portfolios constatée. Le processus d'évaluation du portfolio est cependant fondamental s'il est obligatoire et s'il est censé refléter le niveau de compétences de l'interne.

Parmi les 17 DMG mentionnant des critères d'évaluations, la majorité utilisaient la grille d'évaluation des RSCA qui était fortement semblable d'un DMG à l'autre (Annexe 2). Les listes de situations prévalentes sont aussi parfois utilisées. Ces dernières renseignent certes sur la confrontation de l'étudiant avec ces situations mais ne permettent pas d'affirmer que
l'étudiant est compétent face à ces elles, rendant nécessaire le couplage avec un autre outil d'évaluation.

Moins de place était donnée aux grilles d'évaluations globales du portfolio, alors que la question de valider finalement un portfolio se pose à chaque fois. A l'objectif quantitatif évident du nombre de traces minimum s'ajoute la synthèse des analyses qualitatives de ces traces, mais ces deux points méritent d'être explicités et définis dans le document didactique du portfolio. Le portfolio était parfois simplement évalué au jugé d'un seul lecteur membre du DMG, posant la question de la reproductibilité de l'évaluation.

## 4.3 Typologie des réponses

La moitié des DMG n'ayant pas encore mis en place de portfolio prévoient de le faire. Il existe des groupes de DMG qui utilisent le portfolio sans tutorat, et d'autres qui l'utilisent sans structure organisée. La majorité des DMG se retrouve dans un groupe qui a posé des bases précises de contenu et d'encadrement du portfolio, même si l'application concrète et les détails restent hétérogènes. Ces typologies témoignent d'un dynamisme collectif vers une utilisation cadrée du portfolio. Les caractéristiques tendent à converger, mais sans référence directrice nationale cette convergence nécessaire à l'égalité de formation des internes ne pourra se faire que par tâtonnements.

## 4.4 Comparaison avec les portfolios récupérés

Sur les 35 DMG contactés seuls 3 ont partagé un portfolio finalisé. C'est peu, au regard de la bonne réception des documents didactiques, des critères d'évaluation, et du bon taux de participation au questionnaire. Plusieurs hypothèses peuvent expliquer ce faible taux de retour. La plus triviale d'entre elles serait le manque de temps et de volonté de récupérer un portfolio situé ailleurs que sur la page active du questionnaire. Dans le même ordre d'idée, il est possible que le regard de cette étude sur un outil pédagogique encore en cours d'amélioration dans beaucoup de DMG engendre une inquiétude de jugement négatif et motive une réserve sur son partage.

L'anonymisation du portfolio était toutefois précisée pour faciliter la présentation d'un exemple. Cependant, le caractère personnel du portfolio a pu être un frein à son partage, comme le montre une réponse d'un DMG qui avait accepté de transmettre un portfolio sous réserve de l'accord d'un interne mais qui finalement n'a pas donné suite. La majorité des
portfolios font partie du mémoire de DES, la volonté de garder privé son portfolio va à l'encontre du caractère public du mémoire qui est consultable par toute personne qui en fait la demande à la bibliothèque universitaire. Une autre explication serait l'impossibilité technique d'envoyer sur internet un portfolio complet, soit parce que le support du portfolio n'est pas informatique, soit parce qu'il n'existe pas de document final synthétique.

Si les portfolios font partie du mémoire de DES et qu'une bonne partie fait l'objet d'une soutenance devant jury, ils devraient être archivés et facilement récupérables. S'il existe une majorité de portfolios informatiques mais très peu sous forme de fichier unique facilement exportable, on peut se poser la question d'une évaluation globale du portfolio suffisamment structurée.

Enfin il est possible que le faible taux de récupération de portfolios soit dû à une carence de portfolios réellement présentables et fournis. Dans certains DMG le portfolio est un outil trop récent pour qu'il y ait déjà un portfolio fini. Dans d'autres DMG il est possible que l'outil soit mal maîtrisé, ce qui appuierait la nécessité d'une concertation sur la manière de l'améliorer.

## 4.5 Comparaison avec les portfolios des autres disciplines

Le portfolio des étudiants infirmier mélange une organisation chronologique et par rubriques. L'étudiant renseigne son parcours de stage avec la synthèse des stages effectués. Pour chaque stage, l'étudiant renseigne une fiche d'objectifs de stage, deux récits cliniques de type RSCA depuis 2015 [21], une fiche de bilan intermédiaire avec le tuteur, et la fiche d'évaluation des compétences professionnelles infirmières remplie avec le tuteur en fin de stage. Les dix compétences professionnelles infirmières sont évaluées comme acquises, en cours d'acquisition, ou non acquises. Il n'existe pas de grille standard pour évaluer les compétences et les récits rédigés : l'évaluation se fait essentiellement au travers de l'entretien entre le tuteur et l'étudiant. Une grille inspirée des grilles d'analyse qualitatives des RSCA des DMG est toutefois en cours d'étude [22]. Une autre rubrique renseigne l'acquisition des compétences techniques et des gestes infirmiers, dans le détail pour chaque stage, puis avec une synthèse globale portant sur toute la formation.

Ce portfolio infirmier bien cadré présente donc de très nombreux points communs avec le portfolio de médecine générale, la différence principale se situant sur le support du portfolio : le portfolio infirmier est manuscrit. Il contient moins de traces écrites de récits, et semble plus axé sur l'acquisition progressive et séquentielle des compétences professionnelles. En effet, à chaque stage, l'étudiant doit situer son niveau dans chacune des composantes de toutes les
compétences et il compare ses acquisitions avec ses objectifs définis en début de stage. Le DMG de Poitiers a déjà une approche semblable. La fiche d'évaluation des compétences à chaque stage et la fiche synthétique semblent être les deux apports les plus contributifs à l'amélioration générale du portfolio en médecine (Annexe 4).

Le portfolio des étudiants en Ergothérapie est identique dans sa forme à celui des étudiants infirmiers, la seule différence reposant sur la nature des compétences des ergothérapeutes.

Les Sages-femmes utilisent également un portfolio dans leurs études, dont le cadre est décrit par l'Association Nationale de Formation Initiale et Continue des Sages-femmes. Contrairement au portfolio infirmier, les compétences professionnelles ne sont pas au cœur du portfolio des Sages-femmes. Son contenu, son utilisation et son évaluation sont inspirés explicitement des recommandations du Guide n°24 de l'AMEE Medical Education Guide [6]. Pour l'évaluation, l'étudiant choisit un panel de traces de son portfolio, qu'il présente à deux lecteurs indépendants. Après lecture ces deux examinateurs s'accordent sur les qualités et les faiblesses du portfolio, avant de recevoir conjointement l'étudiant en entretien oral. Les deux examinateurs délibèrent ensuite séparément d'après une grille de lecture avant de se réunir pour la décision finale de validation du portfolio.

Le point fort de ce portfolio est qu'il est consensuel car décrit par l'Association Nationale de la profession d'une part, et qu'il s'inspire de la littérature avec une méthode d'évaluation qui minimise la subjectivité des évaluations qualitatives d'autre part. La procédure de l'évaluation est décrite dans la Figure 2.
Figure 1 : Procédure de l’évaluation du portfolio utilisé par les sages femmes et inspiré du Guide n°24 de l’AMEE.

Un exemple de procédure d'évaluation certificative du portfolio

D'après Dundee medical school, Ecosse, 2001

<figure><img src="image_3.png" /></figure>
Ailleurs dans le monde, si les compétences professionnelles médicales sont bien décrites au Canada [23], le portfolio ne semble pas encore utilisé en routine, et des études de faisabilité sont en cours [24]. Aux Etats Unis, l'utilisation du portfolio semble plus partagée par les différentes spécialités, mais reste hétérogène selon les universités, qui peuvent n'y voir qu'une compilation de documents professionnels retraçant le cursus, les formations, et les actes, ou parfois contenir de réelles traces servant à inférer les compétences professionnelles médicales.

En somme les portfolios des paramédicaux ont de nombreuses caractéristiques intéressantes à implémenter à celui de médecine : une définition consensuelle nationale, à chaque stage une formulation d'objectifs, une évaluation des compétences et une évaluation finale formalisée, et enfin, au-delà des grilles d'évaluation des RSCA, une procédure d'évaluation globale du portfolio.

## 4.6 Validité des résultats

### 4.6.1 Forces de l'étude

Une étude précédente avait déjà esquissé le portrait des portfolios de médecine en France [7] mais cette étude présentait une méthodologie différente qui ne permettait pas de recueillir les informations directement auprès des DMG.

Le taux de participation est très satisfaisant, permettant de caractériser assez précisément les différents aspects des portfolios en France et les points communs des DMG. L'analyse de concordance multiple a contribué à l'analyse de ces points communs en délimitant des typologies d'utilisation du portfolio.

### 4.6.2 Limites de l'étude

Afin d'être le plus exhaustif possible dans la collecte des informations, une bonne partie des questions de l'étude étaient des questions ouvertes. La traduction sémantique de verbatims parfois imprécis voire incomplets puis leur transformation en données quantitatives constitue un biais, du fait de la possibilité d'une mauvaise interprétation des verbatims.

Le questionnaire a été élaboré par deux personnes dépendant de deux DMG différents (Paris Est et Amiens), pouvant occasionner un biais de méthode sur le recueil des informations auprès des DMG. Il est possible que le questionnaire n'ait pas pu donner aux autres DMG la place à la description complète d'un portfolio différent de celui du DMG de Paris Est ou de
celui d'Amiens. Une enquête préliminaire sur les caractéristiques des portfolios des autres DMG a visé à amoindrir ce biais, afin de créer un questionnaire le plus exhaustif possible.

Les portfolios récupérés ont été sélectionnés par les DMG, pouvant occasionner un biais de méthode sur l'analyse de la concordance entre ces portfolios et les réponses aux questionnaires. Cependant, le faible taux de récupération des portfolios minimise la portée de ce biais.

# 5 Conclusion

Le portfolio est un outil récent apporté à la pédagogie médicale dont l'utilisation reste hétérogène et dont il n'existe pas encore de cadre défini au niveau national. Cette hétérogénéité apparaît préjudiciable à la qualité globale de la formation des internes de médecine générale.

Si les différents DMG adhèrent à un même objectif d'acquisition des six compétences, un accord sur la manière de les certifier renforcerait de façon significative leur sens et leur valeur. Le portfolio se veut et peut être un des outils majeurs de certification de ces compétences.

La réforme du 3ème cycle du DES de Médecine Générale est toujours en cours de préparation. Il serait d'actualité de profiter de cette remise à plat du DES pour réfléchir également aux supports pédagogiques du DES. Un groupe de travail missionné pour définir un socle commun au portfolio de médecine générale, utilisable par tous et en mettant à disposition les outils nécessaires à sa mise en place, son organisation, et son évaluation pourrait voir le jour pour participer à la modernisation du DES.
# 6 Annexes

## 6.1 Evaluation qualitative d'un RSCA

Les récits cliniques sont analysés en s'appuyant sur les cinq items suivants, selon l'échelle de mauvais – insuffisant – acceptable – bon à excellent.

### 1. Le récit narratif complet

- Il s'apprécie par la qualité du récit tout au long de la ou des consultations.

- Le récit doit être chronologique, structuré, permettant de suivre pas à pas l'histoire et la démarche de résolution des problèmes.

- Le récit intègre les éléments cliniques, les éléments biographiques du patient (histoire, environnement familial, social, professionnel), les interactions entre patient, internes, autres soignants (avec transcriptions des discours par exemple) et les stratégies de résolution de problèmes.

- Tous les éléments objectifs utiles à la compréhension de la situation doivent être présents ainsi que les éléments subjectifs des interactions qui sont mises en jeu (éléments relationnels, émotionnels).

### 2. La complexité

- La complexité se juge par l'abord des problèmes dans une perspective pluridimensionnelle dans divers champs (biomédical, psychoaffectif, administratif, médico-légal, social, éthique, etc.).

- Les indices de résolution de problèmes ne sont pas tous disponibles d'emblée et nécessitent une exploration à argumenter.

- Les prises de décision s'effectuent souvent en situation d'incertitude et les solutions aux différents problèmes ne sont pas univoques et doivent être également argumentées.

### 3. La pertinence

- La pertinence se juge sur une situation qui a du sens par rapport aux problèmes de santé rencontrés en soins primaires. Elle fait référence à deux référentiels :

- La liste des problèmes de santé qui devront être abordés dans le portfolio de l'interne à l'issue du cursus et qui couvre les différents champs d'exercice de la médecine de soins primaires.
La liste des compétences que doit développer un médecin de soins primaires.

- Pour être pertinente chaque situation clinique dans le portfolio doit illustrer de façon explicite au moins un problème de santé et une compétence.

## 4. La réflexivité

- La réflexivité se juge sur la capacité qu'a l'interne, à travers le récit clinique, à réfléchir sur ses actions professionnelles, sur ses connaissances, sur ses lacunes, sur ses doutes, sur ses décisions afin de mieux se préparer à traiter les prochains cas.

- La réflexivité se juge sur la capacité qu'a l'interne à illustrer ce qu'il a fait, pourquoi il l'a fait, comment il l'a fait et comment il le ferait une prochaine fois dans un cas similaire.

- Pour cela, l'interne doit exprimer des questionnements précis, des objectifs d'étude sous la forme de recherche de nouvelles connaissances en rapport avec les problèmes soulevés, sous la forme de recherche documentaire et/ou de synthèse de réflexion avec un collègue ou une personne ressource.

## 5. La recherche documentaire

- La recherche documentaire doit illustrer la capacité de l'interne à faire une recherche pertinente, apportant des réponses claires aux questions posées.

- La recherche documentaire doit être adaptée aux soins primaires et faire référence aux recommandations en vigueur.

- Les références bibliographiques en question doivent être précisées et les éléments essentiels des références bibliographiques, utiles à la compréhension de la situation clinique ou à la résolution de problèmes ultérieurs, doivent être rédigés sous la forme d'une synthèse précise.

Source : Département de Médecine Générale de Brest
## 6.2 Questionnaire en ligne

« Bonjour, par le biais du questionnaire ci-dessous, nous faisons une enquête auprès de tous les DMG de France à propos du contenu et de l'utilisation des portfolios en DES de MG. Interne au DMG d'Amiens, ce travail sera l'objet de ma thèse de MG. Le portfolio est un outil emblématique du paradigme d'apprentissage, de plus en plus utilisé, mais ses caractéristiques n'ont pas encore été formalisées ni unifiées. Vos réponses et la lecture de la littérature internationale pourraient permettre de proposer une base commune nationale.

Hormis les questions Oui/Non, plusieurs items peuvent être cochés par question.

* Quel est votre nom ?

* Quel est votre prénom ?

* Quelle est votre fonction ?

* Y aurait-il un numéro de téléphone où nous pourrions vous joindre ?

1/ Dans votre DMG, demandez-vous à vos internes de rédiger un portfolio au cours du DES de MG ?

<table><tr><td>Oui</td><td>Passez à la question 2.</td></tr><tr><td>Non</td><td>Passez à la question 30.</td></tr></table>

30/ Cet outil vous paraît-il néanmoins intéressant ?

<table><tr><td></td><td>1</td><td>2</td><td>3</td><td>4</td><td>5</td><td></td></tr><tr><td>Non, pas du tout</td><td></td><td></td><td></td><td></td><td></td><td>Oui, complétement.</td></tr></table>

31/ Quels pourraient en être les avantages et inconvénients à votre avis ?

*Merci de citer au moins un avantage et un inconvénient.*
• Forme

2/ Utilisez-vous un support de portfolio :

Plusieurs réponses possibles.

<table><tr><td></td><td>Papier</td></tr><tr><td></td><td>Informatique</td></tr><tr><td></td><td>En ligne</td></tr><tr><td></td><td>Imposé</td></tr><tr><td></td><td>Non imposé</td></tr></table>

3/ Sur quelle période doit-il être rédigé ?

<table><tr><td></td><td>Lors du stage ambulatoire de niveau 1</td></tr><tr><td></td><td>Lors du stage ambulatoire de niveau 2<br>(SASPAS)</td></tr><tr><td></td><td>Sur l'intégralité du cursus</td></tr><tr><td></td><td>Autre</td></tr></table>

4/ Existe-t-il des rubriques dans ce portfolio ?

Ex : Dossier des GEP, Traces de stage, Travaux universitaires

<table><tr><td></td><td>Oui</td></tr><tr><td></td><td>Non</td></tr></table>

5/ Quelles rubriques utilisez-vous dans ce portfolio ?

• Contenu

6/ Imposer-vous un contenu minimum ?

<table><tr><td></td><td>Oui</td></tr><tr><td></td><td>Non</td></tr></table>
7/ Quel contenu minimum imposez-vous ?

8.a/ Quel contenu en rapport avec les stages demandez-vous aux internes ?

<table><tr><td></td><td>Des récits de situations complexes authentiques</td></tr><tr><td></td><td>Des journaux de bord, carnets de bord ou équivalents (recueil de situations ayant donné lieu à un apprentissage)</td></tr><tr><td></td><td>Des synthèses globales de stages</td></tr><tr><td></td><td>Des comptes rendus d'hospitalisations</td></tr><tr><td></td><td>Des présentations faites en staff</td></tr><tr><td></td><td>Les évaluations de stage concernant l'interne</td></tr><tr><td></td><td>Le rapport d'incident critique</td></tr><tr><td></td><td>Autre :</td></tr></table>
8.b/ Rapport en rapport avec l'enseignement universitaire :

<table><tr><td></td><td>Des travaux à partir de récits de situation complexes exemplaires</td></tr><tr><td></td><td>Des comptes rendus de rencontre avec le tuteur (ou d'autres personnes ressources)</td></tr><tr><td></td><td>Des travaux réalisés en groupe d'interne (groupe d'échanges de pratique, groupe d'enseignement par résolution de problèmes, groupe Balint, etc.)</td></tr><tr><td></td><td>Des traces d'Examen Clinique Objectif Structuré (ECOS)</td></tr><tr><td></td><td>Des Tests de Concordance de Script (TCS)</td></tr><tr><td></td><td>Des traces d'enseignement universitaires (modules, séminaires)</td></tr><tr><td></td><td>Des traces de formations complémentaires</td></tr><tr><td></td><td>Le résumé de la thèse</td></tr><tr><td></td><td>Rédaction d'article</td></tr><tr><td></td><td>Autre :</td></tr></table>

9/ Existe-t-il une trame standard du portfolio ?

<table><tr><td></td><td>Non</td></tr><tr><td></td><td>Oui, chronologique</td></tr><tr><td></td><td>Oui, par documents ou rubriques</td></tr><tr><td></td><td>Oui, par compétences</td></tr><tr><td></td><td>Imposé</td></tr><tr><td></td><td>Non imposé</td></tr><tr><td></td><td>Autre :</td></tr></table>
10/ Existe-t-il un document didactique expliquant les modalités de rédaction du portfolio ?
(Guide, didacticiel ou tutoriel) ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>

11/ Pouvez-vous nous adresser le document didactique expliquant les modalités de rédaction du portfolio en cliquant sur le lien ?

• Tutorat

12/ Existe-t-il un tutorat dans votre DMG ?

<table><tr><td>Oui</td><td>Passez à la question 13.</td></tr><tr><td>Non</td><td>Passez à la question 18</td></tr></table>

13/ Le tutorat est-il :

<table><tr><td>Individuel</td></tr><tr><td>De groupe</td></tr></table>

14/ Le tuteur a t-il un rôle dans l'élaboration du portfolio ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>

15/ Le tuteur a t-il un rôle dans l'évaluation du portfolio ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>

16/ Le tuteur a t-il un rôle dans la validation du portfolio ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>
17/ Quel rôle a le tuteur dans la validation du portfolio ?

• Evaluation

18/ Qui est chargé de lire et commenter le portfolio ?

<table><tr><td></td><td>Le DMG</td></tr><tr><td></td><td>Les MSU</td></tr><tr><td></td><td>Le tuteur</td></tr><tr><td></td><td>Autre :</td></tr></table>

19/ Qui est responsable de la validation du portfolio ?

<table><tr><td></td><td>Le DMG</td></tr><tr><td></td><td>Les MSU</td></tr><tr><td></td><td>Le tuteur</td></tr><tr><td></td><td>Autre :</td></tr></table>

20/ Si la validation ne porte que sur une partie du portfolio, pouvez-vous préciser comment est sélectionnée cette partie ?

21/ Le portfolio est-il utilisé à des fins de certification ?

<table><tr><td></td><td>Non</td></tr><tr><td></td><td>Oui, et il fait office de mémoire de DES</td></tr><tr><td></td><td>Oui, et il est nécessaire pour valider le DES</td></tr><tr><td></td><td>Oui, et il permet d'inférer le niveau de compétence de l'interne à l'issue du DES</td></tr></table>
22/ Existe-t-il des critères définis pour l'évaluation du portfolio ?

<table><tr><td>Oui</td><td>Passez à la question 23.</td></tr><tr><td>Non</td><td>Passez à la question 26</td></tr></table>

• Outils et critères d'évaluation du portfolio

23/ Qui a défini ces critères ?

24/ Les internes ont-ils connaissance de ces critères ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>

25/ Pouvez-vous nous communiquer une description, le lien ou une copie (via le lien URL) de ces critères ?

26/ Les évaluateurs ont-ils été formés à l'utilisation de ces critères ?

<table><tr><td>Oui</td></tr><tr><td>Non</td></tr></table>

27/ Quel est le processus de décision de validation du portfolio ?

Ex : Avis par tuteur. Si interne en désaccord avec le tuteur, lecture du portfolio par un deuxième lecteur. Si désaccord entre les deux lecteurs, passage en commission.

• Exemple de portfolio

28/ Pourriez-vous me communiquer un portfolio finalisé (il peut être anonymisé) ?

Si oui, merci de l'adresser en cliquant sur ce lien :

<table><tr><td>Oui<br/>: http://dropzone4drivespot.com/dz/4b5ce9b20dd1f5fa77c91cc075ae349b/21e06f2bffedb4d455fc1dbdf844b05</td></tr><tr><td>Je ne préfère pas</td></tr></table>
29/ Sinon, pourriez-vous communiquer le texte joint à vos étudiants afin de recruter un volontaire ?

Bonjour, nous faisons une thèse sur ce qui caractérise les différents portfolios du DES de MG en France. Nous nous intéressons particulièrement à leur contenu et à leur évaluation. Le but de cette étude est d'apporter une base à une possible harmonisation du portfolio dans le DES de Médecine générale français. Nous cherchons dans chaque faculté un exemple finalisé de portfolio. Pourriez-vous nous l'adresser anonymisé en cliquant sur ce lien et en ne me précisant que votre ville d'origine :

http://dropzone4drivespot.com/dz/4b5ce9b20dd1f5fa77c91cc075ae349b/21e06f2bffedbb4d455fc1dbdf844b05?Merci beaucoup, Matthieu Ariza et Dr Compagnon.
## 6.3 Analyse des portfolios récupérés

### Amiens

Le portfolio récupéré par le biais d'une interne est en adéquation avec les réponses au questionnaire, hormis que depuis 2015 le portfolio porte sur tout l'internat. Les items d'auto-évaluation utilisés ne sont pas basés sur les compétences professionnelles mais sont restés les listes de compétences simples (prescrire une contraception, assurer le suivi vaccinal), rendant difficile l'évaluation des compétences complexes.

### Besançon

Totale adéquation avec les réponses au questionnaire. Le portfolio se déroule sur tout l'internat. Il comporte les chapitres :

* Bilan de compétences du 2d cycle (2 pages), qui inclut en fait le cursus, avec les synthèses de stage d'externes, les enseignements optionnels, et le projet professionnel initial.

* RSCA (180 pages), avec un récapitulatif des compétences acquises à la fin de chaque RSCA.

* FMC (6 pages), qui inclut les notes de cours et les commentaires

* Document de synthèse (1 page)

Le portfolio se conclut par la grille d'évaluation du portfolio, avec un aspect quantitatif comptant le nombre de RSCA, et un aspect qualitatif global (complexité, pertinence, appréciation globale). Le tuteur signe la validation du portfolio. L'interne présente ensuite un RSCA à un jury lors de la soutenance.

### La réunion

En plus de l'introduction et de la conclusion, il est composé de deux parties principales :

* RSCA (>12)

* « Cas concret » ou « éléments ponctuels » (>10) regroupant essentiellement des présentations PowerPoint faites en staff ou à des infirmières, sur des sujets cliniques ou de médecine fondamentale, et des recherches bibliographiques personnelles.

Il n'a pas été retrouvé dans le portfolio récupéré de traces des formations qui sont censées être une composante obligatoire du portfolio (au moins 8h de formations renseignées).
### Paris Diderot

Seul un RSCA a été récupéré au lieu d'un portfolio entier. Les compétences générales visées par le RSCA sont présentées, mais sans précision, ni auto-évaluation de l'avancement dans les compétences. Le contenu pourrait néanmoins potentiellement permettre de se faire une idée de l'avancement dans les compétences. Les compétences sont différentes de celles de la marguerite des compétences du CNGE. Le RSCA, s'il est accepté par le tuteur, est publié en ligne comme « trace remarquable ».

### Paris est

Le portfolio récupéré est en adéquation avec les réponses au questionnaire. Le document de synthèse reprend le cursus. Les compétences à certifier sont illustrées par des références de traces du portfolio. La seule différence avec le questionnaire est qu'il était décrit la nécessité d'inclure deux traces sur le passage en médecin lors d'un jeu de rôle mais cela n'a pas été retrouvé dans le portfolio récupéré.

### Reims

Le portfolio récupéré par le biais d'une interne correspond bien à ce qui était décrit dans le questionnaire. Son support est informatique, en ligne, les traces sont classées chronologiquement par semestre. A noter qu'il n'y a pas de référence aux compétences dans le portfolio.

La seule différence avec la réponse au questionnaire est que le portfolio récupéré comporte des chapitres qui n'étaient pas précisées dans le questionnaire, tels que « CV », « Document de synthèses », et « thèse et mémoire ».
## Mon parcours : acquisition des compétences

### A remplir par l'étudiant au cours de l'entretien avec le tuteur de stage

Vous cochez le niveau d'acquisition par critère. Les indicateurs présentés en annexe « référentiel de compétences » précisent à partir de quels éléments le critère peut être validé.

Stage n°................... Lieu : ............................................

Dates : ............................................

A améliorer = en cours d'acquisition

Acquis = au juste niveau du diplôme et en regard du stage

Non mobilisé = non vu, non pratiqué au cours du stage

<table><thead><tr><th rowspan="2">Compétence 1 - évaluer une situation clinique et établir un diagnostic dans le domaine infirmier</th><th colspan="3">Bilan intermédiaire</th><th colspan="3">Bilan final</th><th colspan="3">Commentaire</th></tr><tr><th>Non mobilisé</th><th>A améliorer</th><th>Acquis</th><th>Non mobilisé</th><th>Non acquis</th><th>A améliorer</th><th>Acquis</th><th>Non mobilisé</th><th>Acquis</th></tr></thead><tbody><tr><td>Pertinence des informations recherchées au regard d'une situation donnée</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Cohérence des informations recueillies et sélectionnées avec la situation de la personne ou du groupe</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Pertinence du diagnostic de situation clinique posé</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><th colspan="10" style="text-align: center;">Bilan intermédiaire</th></tr><tr><th colspan="10" style="text-align: center;">Bilan final</th></tr><tr><td>Pertinence du contenu du projet et de la planification en soins infirmiers</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Justesse dans la recherche de participation et de consentement du patient au projet de soins</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Pertinence et cohérence dans les modalités de réalisation du soin</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Pertinence des réactions en situation d'urgence</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Rigueur et cohérence dans l'organisation et la répartition des soins</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><th colspan="10" style="text-align: center;">Bilan intermédiaire</th></tr><tr><th colspan="10" style="text-align: center;">Bilan final</th></tr><tr><td>Compétence 3 - Accompagner une personne dans la réalisation de ses soins quotidiens</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Adéquation des activités proposées avec les besoins et les souhaits de la personne</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Cohérence des modalités de réalisation des soins avec les règles de bonnes pratiques</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr><tr><td>Pertinence dans l'identification des risques et adéquation des mesures de prévention</td><td>Non mobilisé</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Non acquis</td><td>A améliorer</td><td>Acquis</td><td>Non mobilisé</td><td>Acquis</td></tr></tbody></table>
Fiche synthèse des acquisitions des compétences en stage (à remplir par l'étudiant) NOM et prénom de l'étudiant en stage :

<table><thead><tr><th rowspan="2"></th><th colspan="3">Stage 1</th><th colspan="3">Stage 2</th><th colspan="3">Stage 3</th><th colspan="3">Stage 4</th><th colspan="3">Stage 5</th><th colspan="3">Stage 6</th><th colspan="3">Stage 7</th></tr><tr><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th><th>Heures effectuées :<br>Dates :<br>Form. référent :</th><th>NA</th><th>A</th></tr></thead><tbody><tr><td><strong>Compétence 1 - évaluer une situation clinique et établir un diagnostic dans le domaine infirmier</strong></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td><td>NM</td><td></td><td></td></tr><tr><td>Pertinence des informations recherchées au regard d'une situation donnée</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Cohérence des informations recueillies et sélectionnées avec la situation de la personne ou du groupe</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence du diagnostic de situation clinique posé</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td><strong>Compétence 2 - Concevoir et conduire un projet de soins infirmier</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence du contenu du projet et de la planification en soins infirmiers</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Justesse dans la recherche de participation et de consentement du patient au projet de soins</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence et cohérence dans les modalités de réalisation du soin</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence des réactions en situation d'urgence</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Rigueur et cohérence dans l'organisation et la répartition des soins</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td><strong>Compétence 3 - Accompagner une personne dans la réalisation de ses soins quotidiens</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Adéquation des activités proposées avec les besoins et les souhaits de la personne</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Cohérence des modalités de réalisation des soins avec les règles de bonnes pratiques</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence dans l'identification des risques et adéquation des mesures de prévention</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td><strong>Compétence 4 - Mettre en œuvre des actions à visée diagnostique ou thérapeutique</strong></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Justesse dans les modalités de mise en œuvre des thérapeutiques et de réalisation des examens, et conformité aux règles de bonnes pratiques</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Justesse dans le respect de la prescription après repérage des anomalies manifestes</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Exactitude du calcul de dose</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence dans la surveillance et le suivi des thérapeutiques et des examens</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence dans l'identification des risques et des mesures de prévention</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Justesse d'utilisation des appareillages et dispositifs médicaux conforme aux bonnes pratiques</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Pertinence de mise en œuvre de l'entretien d'aide thérapeutique et conformité aux bonnes pratiques</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>Fiabilité et pertinence des données de traçabilité</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>

NM : non mobilisé = non vu, non pratiqué au cours du stage

A : acquis = au juste niveau du diplôme et en regard du stage

NA : non acquis
# 7 Références

1. Jouquan J, Bail P. A quoi s'engage-t-on en basculant du paradigme d'enseignement vers le paradigme d'apprentissage ? Pédagogie Médicale. août 2003;4(3):163-75.

2. Hivon R, Allal LK, Université de Sherbrooke. L'Évaluation des apprentissages : réflexions, nouvelles tendances et formation. Québec: Éditions du CRP; 1993.

3. Tardif J. L'évaluation des compétences. Documenter le parcours de développement. Chenelière Education. 2006.

4. Berger-Levrault. Référentiels métier et compétences : Médecins généralistes, sages-femmes et gynécologues-obstétriciens. Paris: Berger-Levrault; 2010.

5. Chartier S. Mise en œuvre d'un programme d'apprentissage dans une logique de compétence : difficultés et propositions. Exercer. 2012;(103):169-74.

6. David MFB, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. AMEE Medical Education Guide No. 24: Portfolios as a method of student assessment. Med Teach. janv 2001;23(6):535-51.

7. Anne Sophie Goutorbe. Élaboration d'un portfolio dans le cadre du Diplôme d'Études Spécialisées de Médecine Générale à Lyon. Lyon; 2014.

8. Juliette Chambe, Hubert Maisonneuve, Sébastien Leruste, Cécile Renoux, Caroline Huas. État des lieux des procédures de validation du DES de médecine générale en France. Exercer. 2014;(113):123-31.

9. Kinouani Shérazade. Le portfolio au cours du D.E.S. de médecine générale à Bordeaux : Historique et évaluation de son emploi de 2005 à 2012. Bordeaux; 2013.

10. Naccache N, Samson L, Jouquan J. Le portfolio en éducation des sciences de la santé : un outil d'apprentissage, de développement professionnel et d'évaluation. Pédagogie Médicale. mai 2006;7(2):110-27.

11. Tochel C, Haig A, Hesketh A, Cadzow A, Beggs K, Colthart I, et al. The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No 12. Med Teach. avr 2009;31(4):299-318.

12. Driessen EW, van Tartwijk J, Overeem K, Vermunt JD, van der Vleuten CPM. Conditions for successful reflective use of portfolios in undergraduate medical education. Med Educ. déc 2005;39(12):1230-5.

13. Départements de Médecine Générale d'Ile de France. Compétences de Médecine Générale et Traces d'Apprentissage. 2012. Disponible sur: http://desmgidf.fr/uploads/9e7364d42f9db72eddd29903f72927e4b237fb09.doc

14. Snadden D, Thomas ML. Portfolio learning in general practice vocational training : does it work ? Med Educ. juill 1998;32(4):401-6.

15. Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. sept 2009;31(9):790-801.

16. Mohd Bekri R, Ruhizan MY, Norazah MN, Faizal Amin Nur Y, Tajul Ashikin H. Development of Malaysia Skills Certificate E-portfolio: A Conceptual Framework. Procedia - Soc Behav Sci. 26 nov 2013;103:323-9.

17. Alotaibi FS. Implementing portfolio in postgraduate general practice training. Benefits and recommendations. Saudi Med J. oct 2012;33(10):1053-8.

18. Décret n°87-889 du 29 octobre 1987 relatif aux conditions de recrutement et d'emploi de vacataires pour l'enseignement supérieur.

19. Arrêté du 22 septembre 2004 fixant la liste et la réglementation des diplômes d'études spécialisées de médecine.
20. Jonnaert P. Sur quels objets évaluer des compétences ? Educ Form. déc 2011;(e-296). Disponible sur : http://ute3.umh.ac.be/revues/

21. Arrêté du 26 septembre 2014 modifiant l'arrêté du 31 juillet 2009 relatif au diplôme d'Etat d'infirmier.

22. Garnier C, Marchand C. Portfolio en Institut de formation en soins infirmiers : Mythe ou réalité. Rech Soins Infirm. 1 sept 2012; N° 110(3):98-112.

23. Frank JR, Snell L, Sherbino J. The Draft CanMEDS 2015 Physician Competency Framework – Series IV. Ottawa : The Royal College of Physicians and Surgeons of Canada; 2015.

24. Dufour MH, Lacasse M, Castel J, Frémont P, Arsenault L, Savard I. Documenter et évaluer les compétences dans la résidence de médecine familiale : étude de besoins triangulée sur le contenu d'un portfolio électronique. 2011; Disponible sur : https://www.fmed.ulaval.ca/mfmu/fileadmin/documents/Programmes/Clinicien_erudit/Article_portфolio_MHD_01.pdf
# Le portfolio de médecine générale : contenu et modes d'évaluation dans les Départements de Médecine Générale de France

**INTRODUCTION** : Le portfolio est un outil d'évaluation reconnu dans le modèle d'apprentissage par compétence. Alors que ce modèle a été adopté par le Collège National des Généralistes Enseignants, il y a peu de données sur l'utilisation des portfolios en médecine générale en France. L'objectif était de décrire l'utilisation du portfolio dans les Départements de Médecine Générale (DMG), en analysant les points communs et les divergences vis-à-vis de son contenu et de son mode d'évaluation.

**METHODES** : Étude observationnelle transversale par questionnaires électroniques adressés à tous les DMG en 2014. Le type de support, le contenu et les processus d'évaluation du portfolio, ainsi que le rôle du tutorat ont été explorés. Les sites internet des DMG ont permis de compléter certaines données manquantes.

**RESULTATS** : Parmi les 35 DMG analysés, 29 utilisaient un portfolio et 24 exigeaient un contenu minimum. Parmi les portfolios, 17 avaient un support informatique, 28 contenaient des Récits de Situation Complexe Authentique (RSCA), 17 des journaux de bord, et 22 des traces écrites liées à un enseignement. Le contenu minimum exigé était d'au moins un RSCA par semestre d'internat pour 15 portfolios. 29 DMG bénéficiaient d'un tutorat pouvant être individuel, collectif, ou mixte. Pour évaluer le portfolio, 13 DMG utilisaient la grille standard d'évaluation d'un RSCA, 7 utilisaient une liste des situations prévalentes ou des compétences à renseigner. Les validations reposaient sur la décision ou au moins sur l'avis du tuteur (19 DMG), sur un passage devant un jury (14 DMG), ou sur la décision d'un membre du DMG (10 DMG).

**CONCLUSION** : Les DMG s'entendent majoritairement pour utiliser un portfolio ; son contenu et l'apport du tuteur sont l'objet de nombreuses convergences, mais il existe de grandes disparités quant à son mode d'évaluation, ce qui pourrait faire l'objet d'une discussion collective nationale.

**Mots clés** : pédagogie médicale, portfolio, évaluation, médecine générale

# The portfolio of general medicine: content and evaluation methods in the french Departments of General Medicine.

**Introduction** : The portfolio is a recognized assessment tool in the competency learning model. While this model has been adopted by the National College of Generalist Teachers, there is little data on the use of portfolios in general practice in France.

**Objective** : The objective was to describe the use of the portfolio in Departments of General Medicine (DGM), analysing the similarities and divergences toward its content and its evaluation mode.

**Methods** : Cross-sectional study by electronic questionnaires sent to all DGM in 2014. The media type, content and portfolio evaluation process, as well as the role of tutoring were explored. The websites of DGM helped complete some missing data.

**Results** : Of the 35 analysed DGM, 29 used a portfolio and 24 required a minimum content. Among the portfolios, 17 had a computer support, 28 contained Narratives of Authentic Complex Situations (NACS), 17 logbooks, and 22 written records related to teaching. The required minimum content was at least one NACS per internship semester for 15 portfolios. 29 DGM benefited from tutoring that could be individual, collective, or mixed. In assessing the portfolio, 13 DGM used the standard evaluation grid of NACS, 7 used a list of prevailing situations or skills to complete. Validations were based on the decision or at least the opinion of the tutor (19 DGM), a passage to a board of examiners (14 DGM), or the decision of a member of DGM (10 DGM).

**Conclusion** : The DGM strongly agree on using a portfolio; its content and the contribution of the tutor are subject to many similarities, but there are large disparities in the evaluations mode, which could start a national collective discussion.

**Keywords** : medical education, portfolio, evaluation, general medicine