Mesure et évaluation en éducation

MESURE
et
ÉVALUATION
en Éducation

<figure><img src="image_1.png" /></figure>

# Aspect prédictif des interrogations dispensatrices organisées à mi-parcours en première année universitaire. Étude de la liaison entre les résultats obtenus aux interrogations de janvier et la performance en fin de première année universitaire

Didier Salmon

Volume 24, numéro 1, 2001

URI : https://id.erudit.org/iderudit/1091197ar

DOI : https://doi.org/10.7202/1091197ar

Aller au sommaire du numéro

Éditeur(s)

ADMEE-Canada - Université Laval

ISSN

0823-3993 (imprimé)
2368-2000 (numérique)

Découvrir la revue

Citer cet article

Salmon, D. (2001). Aspect prédictif des interrogations dispensatrices organisées à mi-parcours en première année universitaire. Étude de la liaison entre les résultats obtenus aux interrogations de janvier et la performance en fin de première année universitaire. *Mesure et évaluation en éducation, 24*(1), 45-59.
https://doi.org/10.7202/1091197ar

Résumé de l'article

Cette étude concerne les étudiants en première année universitaire et poursuit deux objectifs : À partir de résultats obtenus lors d'interrogations organisées à mi-parcours, elle vise à construire, premièrement, un modèle déterminant un intervalle de confiance pour la performance académique et, deuxièmement, un indicateur de la réussite académique en fin d'année. Ces outils pourront servir de guide aux étudiants de première année universitaire lors d'une démarche d'auto-analyse en vue d'améliorer l'utilisation et l'efficacité des dispositifs pédagogiques d'aide à la réussite mis en place par l'université.
Aspect prédictif des interrogations dispensatrices
organisées à mi-parcours en première année
universitaire. Étude de la liaison entre les résultats
obtenus aux interrogations de janvier et la
performance en fin de première année universitaire

Didier Salmon

Université Catholique de Louvain

MOTS-CLÉS: Auto-évaluation des étudiants, enseignement supérieur, évaluation de l'enseignement, instrument d'évaluation, interprétation des résultats

Cette étude concerne les étudiants en première année universitaire et poursuit
deux objectifs : À partir de résultats obtenus lors d'interrogations organisées a
mi-parcours, elle vise à construire, premièrement, un modèle déterminant un
intervalle de confiance pour la performance académique et, deuxièmement, un
indicateur de la réussite académique en fin d'année. Ces outils pourront servir de
guide aux étudiants de première année universitaire lors d'une démarche
d'auto-analyse en vue d'améliorer l'utilisation et l'efficacité des dispositifs
pédagogiques d'aide à la réussite mis en place par l'université.

KEY WORDS: Higher education, interpreting results, student self evaluation, teacher
evaluation

This study concerning students of first university year has two main purposes: Using results of the checking in the middle of the year, it aims to set, in the first place, a model for determining a confidence interval for academic performance and, in the second place, an indicator of academic success at the end of the year. These tools will help the students of first university year to estimate their own performance. This will allow a better utilisation and efficiency of the pedagogic assistance device worked out by University.
## Introduction

Si la problématique de l'échec en première année universitaire est complexe, c'est parce qu'il faut tenir compte d'autres éléments que le niveau d'aptitude et les résultats scolaires antérieurs des étudiants pour espérer pouvoir prédire leur situation en fin d'année académique. La manière dont l'étudiant va s'insérer dans le monde universitaire¹ y joue plus que vraisemblablement un rôle essentiel². Ce mécanisme et son rôle dans la problématique de l'échec constituent un phé-nomène qui a fait l'objet de nombreuses études³. La plupart des comptes rendus des enquêtes ou des recherches réalisées sur le sujet citent, en plus des facteurs cognitifs, des éléments liés soit à la motivation de l'étudiant, soit à son intérêt pour les études choisies, soit à ses techniques d'études ou sa gestion du temps⁴.

Les difficultés liées à l'insertion universitaire peuvent aussi être expliquées à la lumière des différences entre attentes de l'enseignement universitaire et attitude initiale de l'étudiant débutant⁵. Autrement dit, il est, pour certains étu-diants sinon pour tous, indispensable que l'institution universitaire, face au manque probable de repères et de perspectives de ces étudiants, amorce chez eux une réflexion sur les difficultés liées aux tâches de la vie universitaire. Les étudiants doivent pouvoir se positionner aussi bien sur le comment que sur le pourquoi de leur présence à l'université. Aussi bien pour l'étudiant débutant (qui transite de la dernière année de l'enseignement secondaire vers la première année de l'enseignement universitaire et qui est, le plus souvent, dépourvu de réponses lorsqu'on lui demande d'exprimer ce qui l'intéresse, ce qui le motive, ce qui justifie son choix de formation), que pour l'étudiant répétant (qui aborde une nouvelle première année avec une série d'interrogations liées à ses repré-sentations de l'échec qu'il vient de subir), l'institution doit proposer en son sein une structure capable d'encadrer une réflexion sur son parcours passé, présent et futur, ainsi que sur ses objectifs, susceptible, dès le début de son cursus⁶, d'accompagner l'étudiant dans un travail de clarification et d'analyse afin de faciliter l'émergence d'un projet consistant.

L'étudiant universitaire ne revendique pas uniquement la réussite universi-taire⁷ (qui traduit que le temps des études est celui de l'acquisition des compé-tences, en analyse ou en technique, permettant de s'assurer un meilleur avenir professionnel) comme enjeu de sa présence dans le cursus. Dans son discours se retrouvent aussi deux autres enjeux, pour lui fondamentaux, qui permettent d'intégrer la réussite universitaire dans une conception plus large de l'exist-tence. Ces deux enjeux supplémentaires sont la volonté de pouvoir vivre sa jeunesse⁷ (considérer aussi le temps des études comme une suspension, un
délai avant l'exercice inévitable des obligations qu'implique le statut d'adulte) et le désir du passage progressif vers une vie d'adulte autonome par un processus progressif d'émancipation⁷. Pour atteindre les trois niveaux de réussite qu'il revendique, l'étudiant va devoir structurer son action à partir des trois logiques concourantes que sont l'harmonisation de ses stratégies d'apprentissage, son intégration au monde étudiant ou universitaire et sa motivation pour son projet⁸, ces trois logiques d'action n'étant pas indépendantes et s' interpénétrant.

La nécessité du projet d'étude est encore renforcée par l'évolution actuelle de l'enseignement supérieur qui ne représente plus pour l'étudiant une garantie d'évolution sociale. La plupart des étudiants sont contraints de construire le sens de leur démarche sans disposer des ressources pour consolider ces motivations. L'échec éventuel découlant de cette construction peut être interprété comme une difficulté d'articuler l'expérience étudiante de l'individu autour de sa vocation personnelle plutôt qu'autour d'intérêts sociaux fournis par l'institution.

En intégrant les trois niveaux de réussite revendiqués par les étudiants, il s'établit un lien permanent entre les pratiques étudiantes, leur capital de départ et la réussite académique.

En conclusion de notre introduction, nous voudrions insister sur le statut des résultats que nous proposerons par la suite. Ceux-ci ne sont que des éléments parmi d'autres qui permettent d'estimer la probabilité mais pas de prédire la réussite individuelle des étudiants⁹. Néanmoins, les résultats obtenus par les étudiants lors des évaluations de janvier et les interprétations qui y sont liées doivent pouvoir servir de base d'information éclairante aux apprenants, amorcer chez eux un processus de rétroaction à travers leur questionnement vis-à-vis de leurs méthodes de travail et des résultats qui y sont associés.

Dans l'analyse quantitative des variables disponibles qui suit, nous cherche-
rons donc à définir un indicateur de la probabilité de réussite en fin de première
année universitaire en fonction du résultat moyen obtenu lors des interrogations
de janvier. La possibilité d'utilisation de cet indicateur est envisagée comme
un éclairage des étudiants sur leur situation académique ainsi que sur les perspec-
tives offertes par cette situation.

Avec cette information supplémentaire, l'étudiant, mieux outillé pour ana-
lyser sa situation, peut être amené à choisir de s'engager dans l'une ou l'autre
des structures d'accompagnement pédagogique mises en place par l'institution
universitaire. Le but recherché est d'éviter un effet de réalisation automatique
des prédictions en suscitant chez l'étudiant ou les encadrants un mouvement
de défit visant à faire mentir la prédiction¹⁰.
# Étude

## Échantillon observé

Le choix et la taille de l'échantillon considéré dans notre étude sont basés sur la disponibilité des données pertinentes accessibles rapidement au sein des «archives» de la FUSAGx¹¹. Trois sources ont pu être établies, à savoir, les listings d'inscription des étudiants propres à la Faculté, le fichier CReF¹² ainsi que les listings de résultats obtenus soit aux interrogations de janvier, soit aux examens de première et seconde sessions. Après recoupement de ces trois sources, une base de données de 900 unités d'observation a pu être créée regroupant les étudiants inscrits à la FUSAGx en première année universitaire pendant les trois années académiques 1997-1998, 1998-1999 et 1999-2000 (Tableau 1 et Figure 1).

<table><caption>Tableau 1
Répartition des étudiants de l'échantillon dans les trois cohortes</caption><thead><tr><th>Cohorte</th><th>Nombre d'étudiants</th></tr></thead><tbody><tr><td>Année académique 1997 - 1998</td><td>296</td></tr><tr><td>Année académique 1998 - 1999</td><td>314</td></tr><tr><td>Année académique 1999 - 2000</td><td>290</td></tr><tr><td>Total des trois années académiques</td><td>900</td></tr></tbody></table>

<figure><img src="image_2.png" /><figcaption>Figure 1. Répartition des étudiants de l'échantillon dans les trois cohortes</figcaption></figure>

Notre objectif étant de déterminer des liaisons entre les résultats obtenus aux interrogations de janvier et la performance académique finale¹³, il nous paraît intéressant de situer immédiatement, par rapport au nombre d'étudiants inscrits, le nombre d'entre eux qui présentent effectivement les interrogations de janvier et ceux qui ont un résultat final en première ou en seconde session. Ces distributions étant fortement influencées par le statut d'étudiant débutant ou répétant, nous analysons cette distribution pour les deux populations.
<table><caption>Tableau 2
Distribution des étudiants suivant leur présence aux évaluations</caption><thead><tr><th></th><th>Étudiant débutant</th><th>Étudiant répétant</th><th>Total</th></tr></thead><tbody><tr><td>Total de la catégorie</td><td>693</td><td>207</td><td>900</td></tr><tr><td>Étudiants présents en janvier</td><td>91%<br>(631)</td><td>97%<br>(201)</td><td>92%<br>(832)</td></tr><tr><td>Étudiants ayant une note finale</td><td>72%<br>(498)</td><td>82%<br>(169)</td><td>74%<br>(667)</td></tr><tr><td>Étudiants ayant présenté les deux évaluations</td><td>70%<br>(488)</td><td>82%<br>(169)</td><td>73%<br>(657)</td></tr></tbody></table>

<figure><img src="image_3.png" /><figcaption>Figure 2. Distribution des étudiants suivant leur présence aux évaluations</figcaption></figure>

## Données disponibles

Pour chaque étudiant, nous avons établi une série de variables accessibles immédiatement via les trois sources disponibles.

Les premières données considérées concernent les résultats aux différentes évaluations auxquelles l'étudiant s'est inscrit pendant l'année académique. À la FUSAGx, en plus des deux sessions traditionnelles d'examens (en juin et septembre), une série d'interrogations est organisée en janvier.

Pour la plupart d'entre elles, une dispense partielle en sessions peut être obtenue suivant le résultat. Au maximum, à chaque étudiant correspondent donc neuf notes pour les interrogations dispensatrices de janvier, six notes pour les examens de première session, six notes pour les examens de seconde session ainsi que le résultat des deux délibérations éventuelles.

En plus des variables concernant la performance académique de chaque étudiant, nous disposons également de variables permettant de préciser son profil. Il s'agit ici de l'identité (genre, date de naissance, nationalité, état civil, commune de résidence, professions des parents), du type de logement (résident ou non-résident, type de résidence), du statut académique (étudiant débutant ou répétant), du type d'inscription (boursier ou non), du passé scolaire ( titre d'accès pour l'enseignement supérieur, école et ventilation des heures en rhétorique).
## Établissement du lien entre la performance académique finale et le résultat moyen obtenu en janvier

Notre première démarche est de vérifier l'existence d'un lien, étudiant par étudiant, entre les résultats obtenus lors des interrogations de janvier¹⁴ et la performance académique finale en fin de première année universitaire. En fonction de cet objectif, la taille de l'échantillon utilisable est de 657 unités d'observation.

Au vu de la distribution du nuage de points dans le graphique de la figure 3 et du résultat de la régression linéaire qui y est associée, nous pouvons supposer ce lien établi.

<figure><img src="image_4.png" /><figcaption>Figure 3. Performance académique finale en fonction du résultat moyen obtenu en janvier</figcaption></figure>

Si le graphique de la figure 3 indique qu'il existe visiblement¹⁵ une relation globale entre le pourcentage moyen obtenu en janvier et la performance académique finale, l'incertitude sur cette relation, prise individuellement étudiant par étudiant, nous amène à ordonner ceux-ci en sous-ensembles. Ces classes, délimitées en fonction du résultat moyen obtenu en janvier, regroupent les étudiants par fourchettes de deux points.

Dans le tableau 4, nous fournisons, pour chaque classe, le nombre d'étudiants appartenant à la classe en situation de réussite ou ajourné par le jury, mais aussi la moyenne, l'écart type et les valeurs extrêmes de la performance académique finale calculés pour l'ensemble des étudiants de ce sous-échantillon. Nous chiffrons également la proportion de réussite observée pour chaque classe. Ces données sont présentées dans les figures 5 et 6.
Calcul de la proportion de réussite (observée)

<caption>Tableau 4</caption>

Analyse des performances académiques finales
en fonction du résultat moyen obtenu en janvier

<table><thead><tr><th>Résultat moyen<br>obtenu en janvier</th><th>Nombre d'étudiants<br>ayant réussi en fin de<br>première année</th><th>Nombre d'étudiants<br>ajournés en fin de<br>première année</th><th>Moyenne</th><th>Écart type</th><th>Maximum</th><th>Minimum</th><th>Proportion de<br>réussite en fin<br>de première année</th></tr></thead><tbody><tr><td>0&lt;x=&lt;2</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>2&lt;x=&lt;4</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>4&lt;x=&lt;6</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>6&lt;x=&lt;8</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>8&lt;x=&lt;10</td><td></td><td>2</td><td>16,7</td><td>1,6</td><td>17,8</td><td>15,6</td><td>0,00</td></tr><tr><td>10&lt;x=&lt;12</td><td></td><td>3</td><td>14,5</td><td>6,7</td><td>21,9</td><td>8,9</td><td>0,00</td></tr><tr><td>12&lt;x=&lt;14</td><td></td><td>6</td><td>16,9</td><td>4,2</td><td>22,1</td><td>12,2</td><td>0,00</td></tr><tr><td>14&lt;x=&lt;16</td><td></td><td>5</td><td>19,6</td><td>3,5</td><td>25,0</td><td>16,2</td><td>0,00</td></tr><tr><td>16&lt;x=&lt;18</td><td></td><td>7</td><td>18,1</td><td>6,2</td><td>27,4</td><td>11,5</td><td>0,00</td></tr><tr><td>18&lt;x=&lt;20</td><td></td><td>7</td><td>25,2</td><td>6,1</td><td>31,9</td><td>17,0</td><td>0,00</td></tr><tr><td>20&lt;x=&lt;22</td><td></td><td>10</td><td>27,6</td><td>7,8</td><td>42,4</td><td>15,9</td><td>0,00</td></tr><tr><td>22&lt;x=&lt;24</td><td></td><td>11</td><td>25,9</td><td>6,3</td><td>38,1</td><td>18,8</td><td>0,00</td></tr><tr><td>24&lt;x=&lt;26</td><td></td><td>14</td><td>29,6</td><td>7,1</td><td>39,6</td><td>19,2</td><td>0,00</td></tr><tr><td>26&lt;x=&lt;28</td><td></td><td>24</td><td>31,6</td><td>9,4</td><td>56,8</td><td>12,3</td><td>0,00</td></tr><tr><td>28&lt;x=&lt;30</td><td></td><td>23</td><td>35,2</td><td>8,1</td><td>51,8</td><td>22,9</td><td>0,00</td></tr><tr><td>30&lt;x=&lt;32</td><td></td><td>29</td><td>35,6</td><td>8,0</td><td>55,6</td><td>17,7</td><td>0,00</td></tr><tr><td>32&lt;x=&lt;34</td><td>1</td><td>21</td><td>36,0</td><td>10,3</td><td>61,8</td><td>18,3</td><td>0,05</td></tr><tr><td>34&lt;x=&lt;36</td><td></td><td>30</td><td>38,9</td><td>8,2</td><td>54,8</td><td>24,2</td><td>0,00</td></tr><tr><td>36&lt;x=&lt;38</td><td>2</td><td>17</td><td>45,0</td><td>9,1</td><td>58,3</td><td>29,0</td><td>0,11</td></tr><tr><td>38&lt;x=&lt;40</td><td>9</td><td>23</td><td>49,3</td><td>9,5</td><td>68,2</td><td>27,4</td><td>0,28</td></tr><tr><td>40&lt;x=&lt;42</td><td>5</td><td>17</td><td>46,5</td><td>9,8</td><td>66,0</td><td>32,3</td><td>0,23</td></tr><tr><td>42&lt;x=&lt;44</td><td>8</td><td>17</td><td>49,9</td><td>9,6</td><td>61,8</td><td>32,8</td><td>0,32</td></tr><tr><td>44&lt;x=&lt;46</td><td>16</td><td>12</td><td>55,0</td><td>7,5</td><td>65,0</td><td>32,4</td><td>0,57</td></tr><tr><td>46&lt;x=&lt;48</td><td>20</td><td>18</td><td>54,3</td><td>7,0</td><td>65,0</td><td>34,7</td><td>0,53</td></tr><tr><td>48&lt;x=&lt;50</td><td>27</td><td>6</td><td>59,2</td><td>5,9</td><td>69,1</td><td>34,3</td><td>0,82</td></tr><tr><td>50&lt;x=&lt;52</td><td>31</td><td>7</td><td>59,5</td><td>4,5</td><td>67,4</td><td>46,0</td><td>0,82</td></tr><tr><td>52&lt;x=&lt;54</td><td>30</td><td>3</td><td>59,3</td><td>3,8</td><td>64,4</td><td>47,6</td><td>0,91</td></tr><tr><td>54&lt;x=&lt;56</td><td>30</td><td>2</td><td>61,1</td><td>3,1</td><td>67,3</td><td>52,8</td><td>0,94</td></tr><tr><td>56&lt;x=&lt;58</td><td>35</td><td>1</td><td>61,3</td><td>4,0</td><td>69,2</td><td>49,4</td><td>0,97</td></tr><tr><td>58&lt;x=&lt;60</td><td>23</td><td></td><td>63,3</td><td>3,6</td><td>68,5</td><td>51,9</td><td>0,96</td></tr><tr><td>60&lt;x=&lt;62</td><td>19</td><td></td><td>65,2</td><td>4,8</td><td>74,4</td><td>57,3</td><td>1,00</td></tr><tr><td>62&lt;x=&lt;64</td><td>16</td><td></td><td>65,7</td><td>3,8</td><td>71,0</td><td>58,0</td><td>1,00</td></tr><tr><td>64&lt;x=&lt;66</td><td>12</td><td></td><td>67,2</td><td>2,5</td><td>70,9</td><td>63,3</td><td>1,00</td></tr><tr><td>66&lt;x=&lt;68</td><td>10</td><td></td><td>67,7</td><td>2,5</td><td>72,1</td><td>63,6</td><td>1,00</td></tr><tr><td>68&lt;x=&lt;70</td><td>12</td><td></td><td>72,6</td><td>4,3</td><td>78,4</td><td>66,9</td><td>1,00</td></tr><tr><td>70&lt;x=&lt;72</td><td>11</td><td></td><td>73,9</td><td>3,1</td><td>78,4</td><td>68,2</td><td>1,00</td></tr><tr><td>72&lt;x=&lt;74</td><td>10</td><td></td><td>73,7</td><td>3,4</td><td>78,1</td><td>67,9</td><td>1,00</td></tr><tr><td>76&lt;x=&lt;78</td><td>5</td><td></td><td>77,8</td><td>3,6</td><td>83,3</td><td>73,1</td><td>1,00</td></tr><tr><td>74&lt;x=&lt;76</td><td>3</td><td></td><td>72,1</td><td>4,5</td><td>77,3</td><td>69,5</td><td>1,00</td></tr><tr><td>78&lt;x=&lt;80</td><td>2</td><td></td><td>74,9</td><td>2,7</td><td>76,8</td><td>73,0</td><td>1,00</td></tr><tr><td>80&lt;x=&lt;82</td><td>2</td><td></td><td>78,6</td><td>2,8</td><td>80,6</td><td>76,7</td><td>1,00</td></tr><tr><td>82&lt;x=&lt;84</td><td>1</td><td></td><td>84,4</td><td></td><td>84,4</td><td>84,4</td><td>1,00</td></tr><tr><td>84&lt;x=&lt;86</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>86&lt;x=&lt;88</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>88&lt;x=&lt;90</td><td>1</td><td></td><td>90,7</td><td></td><td>90,7</td><td>90,7</td><td>1,00</td></tr><tr><td>90&lt;x=&lt;92</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>92&lt;x=&lt;94</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>94&lt;x=&lt;96</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>96&lt;x=&lt;98</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>98&lt;x=&lt;100</td><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr></tbody></table>
<figure><img src="image_5.png" /><figcaption>Figure 5. *Moyenne (●), écart type (——), distribution (-----) de la performance académique finale pour les classes délimitées en fonction du résultat moyen obtenu en janvier*</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>Figure 6. *Proportion de réussite calculée pour les classes délimitées en fonction du résultat moyen obtenu en janvier*¹⁶</figcaption></figure>

Construction d'un intervalle de confiance
pour la performance académique finale

Le premier objectif de ce travail est d'établir un modèle permettant
d'estimer la performance académique finale, sur la base des résultats obtenus
aux interrogations de janvier. Plus exactement de déterminer un intervalle de
confiance pour cette performance.
Pour construire cet intervalle, nous nous basons sur les unités d'observa-
tion pour lesquelles le résultat moyen obtenu en janvier est compris entre 26 et
66%, intervalle dans lequel nous cherchons à établir notre modèle.

La première étape de la construction est donc la sélection des unités d'observation correspondant à l'intervalle [26%, 66%] défini sur le résultat moyen obtenu en janvier. Le nombre de ces unités d'observation est de 535.

<figure><img src="image_7.png" /><figcaption>Figure 7. *Evolution de la moyenne de la performance académique finale en fonction du résultat moyen obtenu en janvier pour l'intervalle [26%, 66%]*</figcaption></figure>

La deuxième étape consiste à procéder au calcul de régression polyno-
miale¹⁷ entre les variables FMOYE, performance académique finale, et JMOYE,
résultat moyen obtenu en janvier.

Tenant compte du résultat de cette régression, nous calculons, pour chaque classe définie sur les résultats obtenu en janvier, VCENT, que nous considérons comme le centre de l'intervalle de confiance, comme la valeur prédite par la régression polynomiale pour JCENT, la valeur centrale de la classe considérée.

Toujours en tenant compte du résultat de la régression, nous calculons
pour chaque unité d'observation l'écart entre FPRED, la valeur de la perfor-
mance académique finale prédite par le modèle pour l'unité d'observation, et
la valeur réellement observée. Nous calculons alors, pour chacune des
classes, ÉCART, la valeur moyenne des écarts calculés individuellement, et
nous considérons le double de cette valeur comme la largeur de l'intervalle de
prédiction.
$$JCENT = \text{valeur centrale de la classe}$$

$$FCENT = -0,0159 * JCENT? + 2,414 * JCENT - 23,31$$

$$FPRED = -0,0159 * JMOYE? + 2,414 * JMOYE - 23,31$$

$$\text{ÉCART} = 2 * MOY_{\text{sur la classe}} | \text{FMOYE} - \text{PREDI} |$$

<caption>Tableau 8</caption>

Intervalles de confiance pour la performance académique finale estimée par le modèle en fonction du résultat moyen obtenu en janvier limité à l'intervalle [26%, 66%]

<table><thead><tr><th>Résultats en janvier</th><th>FCENT</th><th>ÉCART</th><th>Résultats en janvier</th><th>FCENT</th><th>ÉCART</th></tr></thead><tbody><tr><td>26&lt;x=&lt;28</td><td>30,3</td><td>13,9</td><td>46&lt;x=&lt;48</td><td>55,0</td><td>10,9</td></tr><tr><td>28&lt;x=&lt;30</td><td>33,3</td><td>13,5</td><td>48&lt;x=&lt;50</td><td>56,8</td><td>10,1</td></tr><tr><td>30&lt;x=&lt;32</td><td>36,2</td><td>12,3</td><td>50&lt;x=&lt;52</td><td>58,4</td><td>7,2</td></tr><tr><td>32&lt;x=&lt;34</td><td>39,0</td><td>17,4</td><td>52&lt;x=&lt;54</td><td>60,0</td><td>5,3</td></tr><tr><td>34&lt;x=&lt;36</td><td>41,7</td><td>14,6</td><td>54&lt;x=&lt;56</td><td>61,4</td><td>4,6</td></tr><tr><td>36&lt;x=&lt;38</td><td>44,2</td><td>16,2</td><td>56&lt;x=&lt;58</td><td>62,6</td><td>6,9</td></tr><tr><td>38&lt;x=&lt;40</td><td>46,7</td><td>14,8</td><td>58&lt;x=&lt;60</td><td>63,8</td><td>5,1</td></tr><tr><td>40&lt;x=&lt;42</td><td>48,9</td><td>16,4</td><td>60&lt;x=&lt;62</td><td>64,8</td><td>7,8</td></tr><tr><td>42&lt;x=&lt;44</td><td>51,1</td><td>17,3</td><td>62&lt;x=&lt;64</td><td>65,7</td><td>6,4</td></tr><tr><td>44&lt;x=&lt;46</td><td>53,1</td><td>13,1</td><td>64&lt;x=&lt;66</td><td>66,4</td><td>4,1</td></tr></tbody></table>

<figure><img src="image_8.png" /><figcaption>Figure 9. Évolution de l'intervalle de confiance pour la performance académique finale estimée par le modèle en fonction du résultat moyen obtenu en janvier</figcaption></figure>
Construction d'un indicateur de la probabilité de réussite

Le second objectif de ce travail est d'établir un modèle permettant d'estimer la probabilité de réussite d'un étudiant en fin de première année universitaire¹⁸, sur base des résultats obtenus aux interrogations de janvier.

La méthode choisie consiste à ajuster un modèle de régression logistique. La variable à expliquer est la réussite ou l'échec de l'étudiant. La variable explicative est le résultat moyen obtenu en janvier. La fonction de lien et la fonction logit.

Pour construire notre indicateur, nous nous baserons sur les données présentées dans le tableau 4 des pages précédentes, en considérant tous les étudiants ayant présenté l'ensemble des interrogations en janvier et ayant présenté au moins une session complète, soit 657 étudiants dont 341 réussites.

<caption>Tableau 10</caption>

Évolution des probabilités de réussite estimées par les modèles obtenus
via la régression logistique en fonction des sous-classes déterminées par
le résultat moyen aux interrogations de janvier

<table><thead><tr><th rowspan="2">Résultats en janvier</th><th colspan="2">Réussite finale</th><th colspan="2">Réussite en première session</th></tr><tr><th>Proportion observée</th><th>Probabilité estimée</th><th>Proportion observée</th><th>Probabilité estimée</th></tr></thead><tbody><tr><td>28&lt;x=&lt;30</td><td>0,00</td><td>0,01</td><td>0,00</td><td>0,00</td></tr><tr><td>30&lt;x=&lt;32</td><td>0,00</td><td>0,02</td><td>0,00</td><td>0,00</td></tr><tr><td>32&lt;x=&lt;34</td><td>0,05</td><td>0,03</td><td>0,00</td><td>0,01</td></tr><tr><td>34&lt;x=&lt;36</td><td>0,00</td><td>0,06</td><td>0,00</td><td>0,01</td></tr><tr><td>36&lt;x=&lt;38</td><td>0,11</td><td>0,10</td><td>0,00</td><td>0,02</td></tr><tr><td>38&lt;x=&lt;40</td><td>0,28</td><td>0,16</td><td>0,00</td><td>0,03</td></tr><tr><td>40&lt;x=&lt;42</td><td>0,23</td><td>0,25</td><td>0,05</td><td>0,05</td></tr><tr><td>42&lt;x=&lt;44</td><td>0,32</td><td>0,36</td><td>0,08</td><td>0,09</td></tr><tr><td>44&lt;x=&lt;46</td><td>0,57</td><td>0,50</td><td>0,14</td><td>0,15</td></tr><tr><td>46&lt;x=&lt;48</td><td>0,53</td><td>0,64</td><td>0,21</td><td>0,24</td></tr><tr><td>48&lt;x=&lt;50</td><td>0,82</td><td>0,75</td><td>0,58</td><td>0,35</td></tr><tr><td>52&lt;x=&lt;54</td><td>0,82</td><td>0,84</td><td>0,43</td><td>0,49</td></tr><tr><td>54&lt;x=&lt;56</td><td>0,91</td><td>0,90</td><td>0,73</td><td>0,63</td></tr><tr><td>56&lt;x=&lt;58</td><td>0,94</td><td>0,94</td><td>0,75</td><td>0,75</td></tr><tr><td>58&lt;x=&lt;60</td><td>0,97</td><td>0,97</td><td>0,69</td><td>0,84</td></tr><tr><td>60&lt;x=&lt;62</td><td>0,96</td><td>0,98</td><td>0,83</td><td>0,90</td></tr><tr><td>62&lt;x=&lt;64</td><td>1,00</td><td>0,99</td><td>0,95</td><td>0,94</td></tr><tr><td>64&lt;x=&lt;66</td><td>1,00</td><td>0,99</td><td>1,00</td><td>0,97</td></tr><tr><td>66&lt;x=&lt;68</td><td>1,00</td><td>1,00</td><td>1,00</td><td>0,98</td></tr><tr><td>68&lt;x=&lt;70</td><td>1,00</td><td>1,00</td><td>1,00</td><td>0,99</td></tr><tr><td>70&lt;x=&lt;72</td><td>1,00</td><td>1,00</td><td>1,00</td><td>0,99</td></tr><tr><td>72&lt;x=&lt;74</td><td>1,00</td><td>1,00</td><td>1,00</td><td>1,00</td></tr></tbody></table>
Nous pouvons encore regrouper ces résultats dans un graphe illustrant la relation entre le résultat moyen obtenu aux interrogations de janvier et le pourcentage de réussite pour la première session et pour l'année académique prise globalement.

<figure><img src="image_9.png" /><figcaption>Figure 11. Évolution des proportions de réussite observées et des probabilités de réussite estimées par les modèles issus de la régression logistique en fonction des sous-classes déterminées par le résultat moyen aux interrogations de janvier</figcaption></figure>

## Utilisation et validation du modèle

À partir des modèles obtenus, les étudiants ont été affectés à l'une ou l'autre catégorie (réussite ou échec) en fonction du résultat moyen aux interrogations de janvier. Un étudiant est affecté à la catégorie «réussite» si la probabilité de réussite estimée par le modèle est supérieure à 0,5. Sur cette base, on affecte au groupe «réussite» un étudiant qui a obtenu une moyenne en janvier supérieure à 51,1%. Dans ce cas, la proportion d'étudiants mal classés est de 12% sur l'ensemble des étudiants ayant présenté l'évaluation de janvier (832 étudiants). Plus finement, il convient de constater que la performance de la prédiction est essentiellement mise en défaut dans la fourchette entre 43 et 46%. En dehors de cet intervalle, la prédiction est établie dans plus de 75% des cas.
Nous avons également comparé les résultats de notre démarche à ceux présentés lors de l'élaboration du facteur F¹⁹. Appliqués à la population de référence de cette étude, les deux modèles sont pertinents. Leur efficacité (± 90% de bien classés, facteur de qualité ≈ 60) est essentiellement mise en difficulté dans la fourchette de performance en janvier comprise entre 43 et 46% alors qu'en dehors de cet intervalle, la prédiction est toujours établie dans plus de 75% des cas. Insistons sur le fait qu'un des objectifs de l'intro-duction du facteur F n'est pas atteint dans cette étude puisque les données disponibles ne permettent pas de prendre en compte le facteur correctif lié à la motivation des étudiants (proportion d'examens présentés).

## Influence du genre et du statut de l'étudiant

Enfin, pour affiner les modèles, nous avons essayé de prendre en compte deux variables disponibles qui, au vu des discours généralement répandus, sont considérées comme devoir être pertinentes.

L'essai de la prise en compte du genre (masculin ou féminin) ou du statut (étudiant débutant ou répétant) de l'étudiant ne permet pas d'améliorer de manière significative le modèle élaboré.

## Conclusion

L'objectif de cette étude était d'établir un modèle permettant de déterminer un intervalle de confiance pour la performance académique finale et un indicateur de réussite en fin de première année universitaire basés sur les résultats obtenus lors des interrogations organisées en janvier. Les modèles proposés répondent à ces objectifs avec une précision que nous considérons comme satisfaisante. Pour asseoir notre conviction, nous nous proposons d'appliquer ces modèles aux résultats enregistrées à la FUSAGx lors des trois prochaines années académiques et d'en vérifier la stabilité. De même, nous aimerions pouvoir confronter nos outils aux résultats dans d'autres facultés agronomiques ou autres.

Nous pensons enfin que ces modèles pourraient être affinés par l'utilisation d'autres variables. Nous réfléchissons, en particulier, à des variables relatives à la motivation de l'étudiant, à son intérêt pour les études choisies, à ses techniques d'études ou à sa gestion du temps. La détermination de telles variables et la pertinence de l'utilisation des modèles, après les interrogations de janvier, comme élément d'infor-mation éclairant pour les étudiants, font actuellement l'objet d'une recherche plus importante.
## NOTES

1. Le mécanisme d'insertion ne concerne pas uniquement les étudiants universitaires débutants. Il peut également influencer le résultat d'étudiant entrant dans une nouvelle filière et ayant déjà une autre expérience universitaire.

2. «Au cours de leur première année à l'université, les étudiants débutants s'initient à de nouvelles méthodes d'enseignement en étant confrontés à des situations pédagogiques inédites qui s'inscrivent beaucoup plus en rupture qu'en continuité avec la scolarité secondaire» (Coridian, 2000.)

3. Rapports du Conseil interuniversitaire de la Communauté française de Belgique en 1993 et 1997 et Revue du Département des sciences de l'éducation de l'Université catholique de Louvain (Boxus et al., 1993; Leclercq et al., 1997; De Ketele et al., 1997).

4. «Les capacités insuffisantes, la manière de travailler (trop peu ou trop tard), l'attitude générale de démotivation ou de passivité, constituent dans l'ordre les causes d'échec les plus citées.» (Donnay & Romainville, 1989.)

5. «Le passage du lycée à l'université est marqué d'évolutions et de bouleversements pour les jeunes. Ces changements concernent au premier chef l'univers des études mais ils affectent aussi les conditions et modes de vie d'une manière plus générale.» (Boyer, 2000.)

6. «La rupture de contexte vécue lors des premières semaines de cours à l'université nécessite une étape de définition de projet.» (Wouters, 1996.)

7. Ces trois enjeux fondamentaux de la réussite universitaire ont été déterminés par le sociologue X. Bodson, lors d'entretiens collectifs organisées avec des étudiants (Bodson, 1999).

8. Parmentier & Romainville, 1998.

9. «Parler de prédiction dans le domaine de l'éducation apparaît sans doute comme largement optimiste. L'objet de recherche – l'humain – est aussi acteur, agent de son propre devenir. C'est un sujet intentionnel qui peut, par exemple, décider d'investir la réussite scolaire alors qu'il l'avait peu fait précédemment.»» (Romainville, 1998.)

10. On a renoncé à communiquer les prédictions, à la suite du livre Pygmalion in the classroom de Rosenthal et Jacobson, sous prétexte qu'il suggère un effet de réalisation automatique des prédictions. E. Boxus, dans l'opération «PREDIC» menée en 1971, montre que des enseignants peuvent mettre en œuvre des dispositifs destinés à mettre en défaut les prédictions (Leclercq - 1998)

11. FUSAGx: Faculté universitaire des Sciences agronomiques de Gembloux.

12. CREF: Conseil des recteurs des Universités de la Communauté française de Belgique.

13. Par performance académique finale, nous définirons le résultat moyen (pourcentage) obtenu en première session de l'année académique considérée ou celui obtenu en seconde session, si celle-ci a été présentée par l'étudiant.

14. Pour estimer les résultats obtenus en janvier, nous calculerons la moyenne des pourcentages obtenus à chacune des évaluations organisées.

15. Nous voulons insister particulièrement sur le fait que la relation a été établie uniquement pour les 657 étudiants qui présentent effectivement au moins une session complète. Une autre étude infiniment précieuse pourrait être menée en considérant, en plus de ce premier échantillon, un second échantillon constitué des 175 étudiants qui, ayant présenté les interrogations en janvier, ne présentent complètement aucune des deux sessions de l'année académique considérée mais pour ce qui est de la construction de l'indicateur, le manque de données rend impossible son intégration à la courbe recherchée.
16. Une première analyse de la courbe fait apparaître trois zones distinctes. Les deux zones extrêmes sont des zones de quasi-certitude de l'échec ou de la réussite de l'étudiant. La zone centrale, par contre, donne lieu à des prédictions non certaines où la probabilité de réussite va se résumer en une seule formule. En pratique, les décisions, les actions et les conclusions peuvent s'inspirer tout autant des trois zones.

17. Nous avons choisi l'utilisation d'une régression polynomiale pour pouvoir tenir compte de la courbure (vers le bas) de la relation pour les valeurs importantes du résultat moyen obtenu en janvier.

18. Le calcul de régression logistique a également été fait pour les performances académiques en première session. Les données disponibles pour élaborer le modèle sont alors au nombre de 649 dont 246 réussites. Les résultats obtenus par cet autre modèle sont assez semblables à ceux obtenus par le modèle correspondant à la performance académique en fin de première candidature, avec des valeurs de probabilités de réussite évidemment sensiblement plus faibles.

19. Lebrun, 1996.

## RÉFÉRENCES

Bodson, X. (1999). *La vie d'étudiant. Analyse des manières d'être étudiant et de leurs conséquences sur la réussite et l'échec en première candidature à l'UCL.* Thèse de doctorat inédite, Louvain-la-Neuve, UCL, Unité d'anthropologie et de sociologie.

Boyer, R. (2000). *Les contextes de l'apprentissage chez les étudiants débutants.* Communication présentée au colloque AIPU, Université de Paris X Nanterre.

Boxus, E., et al. (1993). *Premier rapport du groupe de travail « Réussites en candidature ».* Conseil interuniversitaire de la Communauté française de Belgique.

Coridian, C. (2000). *La découverte des situations pédagogiques universitaires par les étudiants débutants.* Communication présentée au colloque AIPU, Université de Paris X Nanterre.

De Ketele, J.M., et al (1997). *Pédagogies: revue du Département des Sciences de l'éducation de l'Université de Louvain, 11, 1997.* Louvain-la-Neuve: Éditions Académia-Bruylant.

Donnay, J., & Romainville, M. (1989). *Les échecs dans l'enseignement supérieur: Approche systémique des échecs à l'Université.* Actes du congrès AIPU, Université du Burundi.

Lebrun, M. (1996). Analyse du caractère prédictif de la session de janvier en terme de probabilité de réussite de l'année académique – Le facteur F. *Res Adademica, 13*.

Leclercq, D. (1998). *Pour une pédagogie universitaire de qualité.* Sprimont: Mardaga.

Leclercq, D. et al (1997). *Franchir le cap des candis: Rapport du groupe de travail « Réussites en candidature ».* Conseil inter universitaire de la Communauté française de Belgique.

Parmentier, P., & Romainville, M. (1998). Les manières d'apprendre à l'université. In *L'étudiant-apprenant. Grille de lecture pour l'enseignant universitaire.* Louvain-la-Neuve: Éditions De Boeck Université.

Romainville, M. (1998). La sélection en questions. In *L'étudiant-apprenant. Grille de lecture pour l'enseignant universitaire.* Louvain-la-Neuve: Éditions De Boeck Université.

Wouters, P. (1996). La transition entre l'enseignement secondaire et l'université. *Pédagogies, 11, 1997*, Louvain-la-Neuve: Éditions Académia-Bruylant.