# What educational policies to improve the quality of education systems?

François-Marie Gerard
Bernard Hugonnier
Sacha Varin

## Abstract

The research crosses data from the work on the synthetic indicator of quality of education systems (ISQ) and the OECD's work on identifying and analysing policy measures taken by countries. Using multiple regression analyses, this cross-referencing makes it possible to identify sets of measures that have an impact, positive or negative, on variations in the scores of the ISQ's constituent criteria between 2015 and 2018. These findings are presented and discussed.

## Keywords

Quality – ISQ – synthetic indicator – education systems – policy measures – OECD

# Quelles politiques éducatives pour améliorer la qualité des systèmes éducatifs ?

François-Marie Gerard<fnref n="1" />
Bernard Hugonnier<fnref n="2" />
Sacha Varin<fnref n="3" />

## Résumé

La recherche croise les données issues des travaux sur l'indice synthétique de la qualité des systèmes éducatifs (ISQ) et ceux de l'OCDE sur l'identification et l'analyse des mesures de politique éducative prises par les pays. Ce croisement permet, grâce à des analyses de régression multiple, de dégager des ensembles de mesures qui ont un impact, positif ou négatif, sur les variations des scores des critères constitutifs de l'ISQ entre 2015 et 2018. Ces constats sont exposés et discutés.

## Mots-clés

Qualité – ISQ – indicateur synthétique – systèmes éducatifs – mesures politiques – OCDE

## 1. Introduction

Disposer d'un système éducatif de qualité devrait être pour tout pays une priorité tant son impact sur la société et l'économie est important. Pour les responsables politiques de ces systèmes, ce devrait être une obligation : celle de tout mettre en œuvre pour atteindre cette qualité.

<footnote n="1">¹ Conseiller scientifique de BIEFOR, Belgique - fmg@fmgerard.be</footnote>

<footnote n="2">² Professeur d'éducation, Université catholique de Paris, France - hugonnierb@gmail.com</footnote>

<footnote n="3">³ Professeur de Mathématiques et de Statistiques, Collège Villamont, Suisse - varinsacha@yahoo.fr</footnote>
Mais de quelle qualité s'agit-il ? Comment la traduire en objectifs concrets et mesurables ?
Sur la base des données à notre disposition, quelles propositions générales peut-on apporter
afin d'augmenter la qualité ?

Ce sont là de vastes questions auxquelles il n'y a pas de réponses simples. En croisant d'une
part les informations obtenues dans le cadre des travaux autour de la définition d'un indice
synthétique de la qualité des systèmes éducatifs et d'autre part celles analysées par l'OCDE
sur les types de mesures prises par les systèmes éducatifs pour les améliorer, l'objet de cet
article est double. Sur la base d'une analyse rigoureuse, nous voulons apporter d'un côté
quelques propositions d'ordre général par rapport aux mesures ou aux ensembles de mesures à
mettre en œuvre dans les systèmes éducatifs afin d'augmenter leur qualité et les scores des
critères qui la composent. Par ailleurs, nous présenterons inversement des mesures et des
ensembles de mesures qui péjorent la qualité et les critères qui la composent.

La première démarche est de définir le cadre de référence constitué de la présentation de l'indice synthétique de qualité des systèmes éducatifs des pays de l'OCDE, des variations entre 2025 et 2018 de leurs qualités respectives, et des mesures politiques étudiées par l'OCDE en 2019. La méthodologie sera ensuite abordée afin de permettre d'isoler les mesures politiques dont on peut attester l'impact tant positif que négatif si elles sont activées par les pays. Après la présentation des résultats, ceux-ci seront discutés.

## 2. Cadre de référence

### 2.1 L'indice synthétique de la qualité des systèmes éducatifs (ISQ)

L'indice synthétique de la qualité des systèmes éducatifs (ISQ) a été développé à partir de 2014, sur la base de données issues des études PISA de l'OCDE et de rapports de l'UNESCO. L'objectif fut dès le départ de disposer d'un outil de mesure intégrant différents critères caractérisant un système éducatif de qualité. L'ISQ a à ce jour été calculé trois fois : à partir des données récoltées en 2012, 2015 et 2018 (Gerard, Hugonnier et Varin, 2017, 2018, 2023, en soumission)<fnref n="4" />. Ces calculs permettent certes de déboucher sur des classements des pays de l'OCDE en fonction de leur niveau de qualité, mais depuis le début de nos travaux, l'essentiel nous semble de pouvoir fournir aux pays des informations leur permettant d'améliorer la qualité de leur système éducatif.

À cet égard, une information importante est le niveau des pays pour chaque critère pris en compte qui, ensemble, définissent ce qu'est pour nous un système éducatif de qualité. Ces critères sont aujourd'hui au nombre de six :

* l'efficacité en tant que capacité des systèmes éducatifs à atteindre les objectifs qui leur ont été fixés en termes de performances scolaires ;

* l'efficience des systèmes définie comme le rapport entre l'efficacité et les moyens utilisés pour les atteindre, que ces moyens soient d'ordre financier, matériel, humain, temporel, etc. ;

* l'équité, capacité d'un système éducatif à limiter l'impact de l'origine sociale des élèves sur leurs performances scolaires et de garantir l'égalité des chances ;

* l'engagement des élèves, c'est-à-dire la volonté de ceux-ci de faire les investissements et les efforts nécessaires pour améliorer leurs performances scolaires ;

* l'engagement des enseignants ou l'implication de leur part pour permettre à tous les élèves de progresser dans leurs études ;

* l'engagement des parents portant sur la participation des parents dans la vie scolaire de leurs enfants en général, tant à l'école qu'à la maison.

<footnote n="4">⁴ Nous ne reprenons ici ni le cadre théorique, ni la méthodologie, ni les résultats détaillés de l'ISQ. Nous renvoyons le lecteur intéressé à nos précédents articles : Gerard, Hugonnier et Varin, 2017, 2018, 2023, en soumission.</footnote>
Ces critères sont très largement partagés par les pays de l'OCDE et les auteurs ayant travaillé sur ce domaine (Bautier et Marchand, 2020 ; Behrens, 2007 ; Bouchard et Plante, 2000, 2003 ; Chatel, 2006 ; Conférence des ministres de l'éducation des pays ayant le français en partage [CONFEMEN], 2011 ; Corriveau, Boyer et Fernandez, 2009 ; De Ketele et Gerard, 2007 ; Dominguez-Gil, Segovia-Gonzalez & Contreras, 2022 ; Foin et Gauthier, 2020 ; Gerard, 2001 ; Hanushek et Wößmann, 2012 ; Murafa, Ikonomi, Todorakov, Mickovksa-Raleva, Brankovic, Georgiana Radu, Ivan, Stankovic, Radisic et Klemencic, 2012 ; Roegiers, 1997 ; Sall et De Ketele, 1997 ; Varin, 2021a, 2021b). Ce ne sont cependant pas les seuls critères qui peuvent être utilisés : l'équilibre du système éducatif, sa cohérence, sa durabilité, etc. pourraient également être utilisés, pour autant qu'il soit possible de disposer pour tous les pays étudiés de données pertinentes, valides et fiables.

## 2.2 Scores 2015 et 2018 de l'ISQ et des critères

### 2.2.1 Scores et variations de l'ISQ

Le Tableau 1 présente les résultats globaux de l'ISQ pour 2015 et 2018. Les scores sont exprimés dans une échelle « PISA », c'est-à-dire avec un indice de tendance centrale de 500 et un indice de dispersion de 100. Le score ISQ est la moyenne des scores obtenus pour chaque critère (voir Tableau 2).

<table><caption>Tableau 1 - Scores ISQ 2015, score ISQ 2018 et différence en pourcentage entre le score 2015 et 2018</caption><thead><tr><td>Pays</td><td>ISQ 2015</td><td>ISQ 2018</td><td>Variations en % entre ISQ 2015/2018</td></tr></thead><tbody><tr><td>Allemagne</td><td>524</td><td>499</td><td>-4,8%</td></tr><tr><td>Australie</td><td>511</td><td>514</td><td>0,6%</td></tr><tr><td>Autriche</td><td>452</td><td>488</td><td>8%</td></tr><tr><td>Belgique</td><td>432</td><td>432</td><td>0,0%</td></tr><tr><td>Canada</td><td>563</td><td>567</td><td>0,7%</td></tr><tr><td>Chili</td><td>431</td><td>430</td><td>-0,2%</td></tr><tr><td>Corée</td><td>539</td><td>555</td><td>3%</td></tr><tr><td>Danemark</td><td>477</td><td>509</td><td>6,7%</td></tr><tr><td>Espagne</td><td>553</td><td>528</td><td>-4,5%</td></tr><tr><td>Estonie</td><td>601</td><td>615</td><td>2,3%</td></tr><tr><td>Etats-Unis</td><td>513</td><td>522</td><td>1,7%</td></tr><tr><td>Finlande</td><td>572</td><td>580</td><td>1,4%</td></tr><tr><td>France</td><td>431</td><td>438</td><td>1,6%</td></tr><tr><td>Grèce</td><td>458</td><td>452</td><td>-1,3%</td></tr><tr><td>Hongrie</td><td>463</td><td>499</td><td>7,8%</td></tr><tr><td>Irlande</td><td>555</td><td>548</td><td>-1,3%</td></tr><tr><td>Islande</td><td>491</td><td>477</td><td>-2,8%</td></tr><tr><td>Israël</td><td>439</td><td>394</td><td>-10,2%</td></tr><tr><td>Italie</td><td>477</td><td>459</td><td>-3,8%</td></tr><tr><td>Japon</td><td>549</td><td>547</td><td>-0,4%</td></tr><tr><td>Lettonie</td><td>521</td><td>497</td><td>-4,6%</td></tr><tr><td>Luxembourg</td><td>435</td><td>450</td><td>3,4%</td></tr><tr><td>Mexique</td><td>419</td><td>421</td><td>0,5%</td></tr></tbody></table>
<table><tr><td>Norvège</td><td>521</td><td>516</td><td>-0,9%</td></tr><tr><td>Nouvelle-Zélande</td><td>523</td><td>514</td><td>-1,7%</td></tr><tr><td>Pays-Bas</td><td>490</td><td>471</td><td>-3,9%</td></tr><tr><td>Pologne</td><td>514</td><td>528</td><td>2,7%</td></tr><tr><td>Portugal</td><td>525</td><td>497</td><td>-5,3%</td></tr><tr><td>République slovaque</td><td>401</td><td>426</td><td>6,2%</td></tr><tr><td>République tchèque</td><td>458</td><td>491</td><td>7,2%</td></tr><tr><td>Royaume Uni</td><td>506</td><td>507</td><td>0,2%</td></tr><tr><td>Slovénie</td><td>500</td><td>505</td><td>1%</td></tr><tr><td>Suède</td><td>492</td><td>517</td><td>5,1%</td></tr><tr><td>Suisse</td><td>463</td><td>479</td><td>3,5%</td></tr><tr><td>Turquie</td><td>429</td><td>491</td><td>14,5%</td></tr><tr><td>Moyennes</td><td>492</td><td>496</td><td>0,8%</td></tr></table>

Ce tableau permet d'identifier deux informations intéressantes :

* une faible augmentation de l'ISQ moyen de tous les pays entre 2015 et 2918 (+0,8%);

* une différence importante entre le score le plus faible en 2018 (394, Israël) et le plus élevé (615, Estonie), soit un écart de 56%. Cela ne signifie cependant pas que les politiques suivies par l'Estonie devraient être mises en œuvre par Israël, car la réussite de ces politiques dépend pour beaucoup du contexte institutionnel, de la formation des enseignants et des objectifs de chaque pays en matière d'éducation.

### 2.2.2 Variations des scores critériés

Le Tableau 2 présente les scores obtenus par chaque pays pour le calcul de chaque critère, tant en 2015 qu'en 2018 ainsi que le taux de variation entre ces deux dates<fnref n="5" />.

<table><caption>Tableau 2 - Scores des critères en 2015 et en 2018 et écarts en pourcentage entre les scores de 2015 et 2018</caption><thead><tr><th rowspan="2">Pays</th><th colspan="3">Efficacité</th><th colspan="3">Efficience</th><th colspan="3">Equité</th><th colspan="3">Engagement des élèves</th><th colspan="3">Engagement des enseignants</th></tr><tr><th>2015</th><th>2018</th><th>Δ%</th><th>2015</th><th>2018</th><th>Δ%</th><th>2015</th><th>2018</th><th>Δ%</th><th>2015</th><th>2018</th><th>Δ%</th><th>2015</th><th>2018</th><th>Δ%</th></tr></thead><tbody><tr><td>Allemagne</td><td>568</td><td>533</td><td>-6,2</td><td>608</td><td>578</td><td>-4,9</td><td>498</td><td>450</td><td>-9,6</td><td>544</td><td>529</td><td>-2,8</td><td>403</td><td>405</td><td>0,5</td></tr><tr><td>Australie</td><td>541</td><td>562</td><td>+3,9</td><td>488</td><td>486</td><td>-0,4</td><td>487</td><td>507</td><td>4,1</td><td>508</td><td>505</td><td>-0,6</td><td>531</td><td>508</td><td>-4,3</td></tr><tr><td>Autriche</td><td>451</td><td>459</td><td>+1,8</td><td>473</td><td>465</td><td>-1,7</td><td>430</td><td>470</td><td>9,3</td><td>413</td><td>530</td><td>28,3</td><td>491</td><td>516</td><td>5,1</td></tr><tr><td>Belgique</td><td>510</td><td>505</td><td>-1</td><td>449</td><td>428</td><td>-4,7</td><td>419</td><td>416</td><td>-0,7</td><td>426</td><td>419</td><td>-1,6</td><td>353</td><td>390</td><td>10,5</td></tr><tr><td>Canada</td><td>649</td><td>640</td><td>-1,4</td><td>564</td><td>570</td><td>1,1</td><td>583</td><td>622</td><td>6,7</td><td>500</td><td>486</td><td>-2,8</td><td>522</td><td>520</td><td>-0,4</td></tr><tr><td>Chili</td><td>329</td><td>319</td><td>-3</td><td>447</td><td>377</td><td>-15,7</td><td>469</td><td>470</td><td>0,2</td><td>568</td><td>608</td><td>7,0</td><td>341</td><td>375</td><td>10,0</td></tr><tr><td>Corée</td><td>605</td><td>606</td><td>+0,2</td><td>502</td><td>496</td><td>-1,2</td><td>530</td><td>570</td><td>7,5</td><td>526</td><td>598</td><td>13,7</td><td>529</td><td>506</td><td>-4,3</td></tr><tr><td>Danemark</td><td>511</td><td>539</td><td>+5,5</td><td>420</td><td>474</td><td>12,9</td><td>540</td><td>538</td><td>-0,4</td><td>484</td><td>519</td><td>7,2</td><td>431</td><td>478</td><td>10,9</td></tr><tr><td>Espagne</td><td>488</td><td>499</td><td>+2,3</td><td>567</td><td>547</td><td>-3,5</td><td>594</td><td>498</td><td>-16,2</td><td>595</td><td>583</td><td>-2,0</td><td>520</td><td>513</td><td>-1,3</td></tr><tr><td>Estonie</td><td>609</td><td>651</td><td>+6,9</td><td>685</td><td>744</td><td>8,6</td><td>637</td><td>661</td><td>3,8</td><td>512</td><td>486</td><td>-5,1</td><td>565</td><td>534</td><td>-5,5</td></tr><tr><td>Etats-Unis</td><td>513</td><td>571</td><td>+11,3</td><td>468</td><td>485</td><td>3,6</td><td>556</td><td>476</td><td>-14,4</td><td>530</td><td>542</td><td>2,3</td><td>499</td><td>535</td><td>7,2</td></tr></tbody></table>

<footnote n="5">⁵ L'engagement des parents n'est pas repris dans ce tableau et n'intervient pas dans l'analyse, car en 2015, les données le concernant n'étaient pas disponibles.</footnote>
<table><tr><td>Finlande</td><td>643</td><td>635</td><td>-1,2</td><td>597</td><td>614</td><td>2,8</td><td>563</td><td>564</td><td>0,2</td><td>529</td><td>532</td><td>0,6</td><td>530</td><td>553</td><td>4,3</td></tr><tr><td>France</td><td>530</td><td>505</td><td>-4,7</td><td>534</td><td>506</td><td>-5,2</td><td>328</td><td>405</td><td>23,5</td><td>322</td><td>289</td><td>-10,2</td><td>441</td><td>485</td><td>10,0</td></tr><tr><td>Grèce</td><td>366</td><td>344</td><td>-6</td><td>389</td><td>478</td><td>22,9</td><td>448</td><td>487</td><td>8,7</td><td>586</td><td>474</td><td>-19,1</td><td>498</td><td>478</td><td>-4,0</td></tr><tr><td>Hongrie</td><td>371</td><td>422</td><td>+13,7</td><td>557</td><td>600</td><td>7,7</td><td>356</td><td>363</td><td>2,0</td><td>480</td><td>571</td><td>19,0</td><td>552</td><td>542</td><td>-1,8</td></tr><tr><td>Irlande</td><td>611</td><td>623</td><td>+2</td><td>564</td><td>597</td><td>5,9</td><td>521</td><td>570</td><td>9,4</td><td>567</td><td>458</td><td>-19,2</td><td>513</td><td>491</td><td>-4,3</td></tr><tr><td>Islande</td><td>442</td><td>424</td><td>-4,1</td><td>385</td><td>338</td><td>-12,2</td><td>552</td><td>552</td><td>0,0</td><td>561</td><td>546</td><td>-2,7</td><td>513</td><td>523</td><td>1,9</td></tr><tr><td>Israël</td><td>437</td><td>420</td><td>-3,9</td><td>449</td><td>364</td><td>-18,9</td><td>417</td><td>348</td><td>-16,5</td><td>488</td><td>476</td><td>-2,5</td><td>403</td><td>363</td><td>-9,9</td></tr><tr><td>Italie</td><td>445</td><td>429</td><td>-3,6</td><td>530</td><td>491</td><td>-7,4</td><td>513</td><td>540</td><td>5,3</td><td>450</td><td>376</td><td>-16,4</td><td>445</td><td>456</td><td>2,5</td></tr><tr><td>Japon</td><td>589</td><td>556</td><td>-5,6</td><td>615</td><td>625</td><td>1,6</td><td>570</td><td>583</td><td>2,3</td><td>548</td><td>474</td><td>-13,5</td><td>424</td><td>498</td><td>17,5</td></tr><tr><td>Lettonie</td><td>456</td><td>435</td><td>-4,6</td><td>510</td><td>518</td><td>1,6</td><td>594</td><td>583</td><td>-1,9</td><td>561</td><td>419</td><td>-25,3</td><td>486</td><td>529</td><td>8,8</td></tr><tr><td>Luxembourg</td><td>437</td><td>406</td><td>-7,1</td><td>412</td><td>405</td><td>-1,7</td><td>372</td><td>389</td><td>4,6</td><td>435</td><td>479</td><td>10,1</td><td>519</td><td>574</td><td>10,6</td></tr><tr><td>Mexique</td><td>179</td><td>178</td><td>-0,6</td><td>321</td><td>325</td><td>1,2</td><td>537</td><td>508</td><td>-5,4</td><td>567</td><td>615</td><td>8,5</td><td>492</td><td>478</td><td>-2,8</td></tr><tr><td>Norvège</td><td>587</td><td>542</td><td>-7,7</td><td>469</td><td>427</td><td>-9,0</td><td>554</td><td>567</td><td>2,3</td><td>516</td><td>532</td><td>3,1</td><td>479</td><td>512</td><td>6,9</td></tr><tr><td>Nouvelle-Zélande</td><td>580</td><td>571</td><td>-1,6</td><td>480</td><td>479</td><td>-0,2</td><td>454</td><td>475</td><td>4,6</td><td>521</td><td>473</td><td>-9,2</td><td>579</td><td>571</td><td>-1,4</td></tr><tr><td>Pays-Bas</td><td>540</td><td>473</td><td>-12,4</td><td>509</td><td>445</td><td>-12,6</td><td>469</td><td>519</td><td>10,7</td><td>537</td><td>507</td><td>-5,6</td><td>397</td><td>411</td><td>3,5</td></tr><tr><td>Pologne</td><td>540</td><td>597</td><td>+10,6</td><td>594</td><td>661</td><td>11,3</td><td>518</td><td>505</td><td>-2,5</td><td>407</td><td>392</td><td>-3,7</td><td>511</td><td>487</td><td>-4,7</td></tr><tr><td>Portugal</td><td>505</td><td>491</td><td>-2,8</td><td>506</td><td>454</td><td>-10,3</td><td>550</td><td>524</td><td>-4,7</td><td>531</td><td>496</td><td>-6,6</td><td>535</td><td>518</td><td>-3,2</td></tr><tr><td>République slovaque</td><td>310</td><td>348</td><td>+12,3</td><td>431</td><td>458</td><td>6,3</td><td>384</td><td>384</td><td>0,0</td><td>374</td><td>426</td><td>13,9</td><td>504</td><td>515</td><td>2,2</td></tr><tr><td>République tchèque</td><td>464</td><td>492</td><td>+6</td><td>593</td><td>590</td><td>-0,5</td><td>369</td><td>407</td><td>10,3</td><td>372</td><td>468</td><td>25,8</td><td>493</td><td>499</td><td>1,2</td></tr><tr><td>Royaume Uni</td><td>517</td><td>563</td><td>+8,9</td><td>418</td><td>467</td><td>11,7</td><td>552</td><td>552</td><td>0,0</td><td>562</td><td>444</td><td>-21,0</td><td>483</td><td>507</td><td>5,0</td></tr><tr><td>Slovénie</td><td>542</td><td>513</td><td>-5,4</td><td>555</td><td>540</td><td>-2,7</td><td>533</td><td>523</td><td>-1,9</td><td>406</td><td>480</td><td>18,2</td><td>465</td><td>467</td><td>0,4</td></tr><tr><td>Suède</td><td>525</td><td>576</td><td>+9,7</td><td>491</td><td>493</td><td>0,4</td><td>467</td><td>489</td><td>4,7</td><td>460</td><td>490</td><td>6,5</td><td>517</td><td>536</td><td>3,7</td></tr><tr><td>Suisse</td><td>483</td><td>465</td><td>-3,7</td><td>414</td><td>432</td><td>4,3</td><td>471</td><td>443</td><td>-5,9</td><td>420</td><td>499</td><td>18,8</td><td>528</td><td>555</td><td>5,1</td></tr><tr><td>Turquie</td><td>200</td><td>380</td><td>+90</td><td>359</td><td>526</td><td>46,5</td><td>590</td><td>531</td><td>-10,0</td><td>453</td><td>513</td><td>13,2</td><td>542</td><td>508</td><td>-6,3</td></tr><tr><td>Moyenne</td><td>487,8</td><td>493,5</td><td>+1,17</td><td>495,8</td><td>499,5</td><td>0,75</td><td>497,9</td><td>499,7</td><td>0,36</td><td>493,1</td><td>492,4</td><td>-0,14</td><td>486,7</td><td>495,3</td><td>1,77</td></tr></table>

Le tableau met en avant qu'aucun des 32 pays de l'OCDE n'excelle, avec un score supérieur à 600 points, dans les 5 critères. Ceux qui qui réussissent le mieux sont dans l'ordre l'Estonie avec 5 critères, suivie du Canada avec 3 critères, la Corée et la Finlande avec deux, enfin l'Irlande et le Mexique avec 1 critère.

D'autre part, comme pour le Tableau 1 présentant les scores de l'ISQ global, il est intéressant de constater qu'il existe de grands écarts entre les moins bons et les meilleurs scores 2018 des critères constituant l'ISQ, ainsi que des taux de variation entre 2015 et 2018 :

* pour l'efficacité, le score du Mexique est de 178 alors que celui de l'Estonie est de 651, soit 265,7% en plus. Le taux le plus faible de variation est pour les Pays-Bas (-12,4%) et le plus élevé pour la Turquie (+90%)<fnref n="6" />;

* pour l'efficience, les scores varient de 325 pour le Mexique à 744 pour l'Estonie. Les taux de variation vont de -18,9% pour Israël<fnref n="7" /> à +46,5% pour la Turquie;

<footnote n="6">⁶ Ce taux anormalement élevé, ainsi que pour d'autres critères, nous a amené à ne pas prendre en compte la Turquie dans l'analyse subséquente.</footnote>

<footnote n="7">⁷ Israël ne faisant pas partie des pays étudiés dans l'étude de l'OCDE, ce pays n'intervient pas dans l'analyse des impacts des mesures de politique éducative.</footnote>
* pour l'équité, les scores vont de 348 pour Israël à 661 pour l'Estonie, alors que les taux de variation se déclinent entre -16,5% pour Israël et +23,5% pour la France ;

* pour l'engagement des élèves, le score le plus faible concerne la France (289) et le plus élevé le Mexique (615). Le taux de variation le plus faible est celui de la Lettonie (-25,3%) alors que l'Autriche progresse de 28,3% ;

* pour l'engagement des enseignants, Israël obtient un score de 363 face aux 574 du Grand-Duché de Luxembourg. Israël a également le taux de variation le plus négatif (-9,9%) alors que le Japon progresse de 17,5%.

## 2.3 Utilisation des scores de l'ISQ et des critères

Plus encore que le score obtenu par les pays à l'ISQ global ou à chacun des critères, c'est la variation observée entre deux mesures, voire la tendance diachronique, qui devrait intéresser les décideurs : observe-t-on une progression ou au contraire une régression ? De quel ordre est celle-ci ? À quoi peut-elle être attribuée ? Que peut-on faire pour améliorer le niveau de l'ISQ ou de chaque critère et, par-là, la qualité des systèmes éducatifs ?

Pour pouvoir répondre à ces questions, une connaissance approfondie de chaque système est indispensable. Chaque pays est sans doute le seul à pouvoir y apporter une réponse pertinente et contextualisée. Nos travaux devraient pouvoir les y aider, avec entre autres une limite traditionnelle de l'analyse et du traitement des données : il est possible de calculer un certain nombre de corrélations entre des scores – par exemple ceux obtenus aux différents critères et à l'ISQ – mais on sait qu'une corrélation n'est jamais que le constat de variations communes ou opposées, sans jamais pouvoir dire quelle variable influe exactement sur l'autre.

Une première piste pour pallier cette difficulté est le recours aux réseaux bayésiens, en particulier le *directed acyclic graph* (DAG), qui permet de développer une analyse causale entre les différentes variables, c'est-à-dire d'identifier non seulement les relations qui existent entre elles, mais aussi leur force et leur direction. Ce travail novateur permet d'avoir une idée globale des relations de causes à effets qui existent entre les différents critères retenus (Gerard, Hugonnier et Varin, 2023). Cependant, l'approche reste globale, c'est-à-dire seulement valable pour l'ensemble des pays. Par exemple, sur la base du DAG élaboré, nous pouvons affirmer que les niveaux de l'équité et de l'engagement des parents ont une influence directe sur l'efficacité, mais sans pouvoir dire si tel est le cas pour tel ou tel pays.

De plus, jusqu'à présent, il ne nous a pas été possible de relier les variations observées, tant pour les scores de l'ISQ que pour ceux des critères, à des mesures politiques prises par l'un ou l'autre pays. Sans cette information, un pays ne peut pas savoir d'un point de vue scientifique ce qu'il pourrait faire pour améliorer la qualité de son système éducatif, ni sur quel critère agir.

## 2.4 Mesures de politique éducative étudiées par l'OCDE

Le rapport *Education Policy Outlook* publié en 2019 par l'OCDE permet, à cet égard, de progresser de manière appréciable. Ce rapport analyse 24 priorités de politique éducative et plus de 460 exemples de politiques éducatives (avec des preuves du progrès ou de l'impact pour plus de 200 d'entre elles) dans 43 systèmes éducatifs entre 2008 et 2019. Selon l'OCDE, parmi ces 24 priorités, la moitié a particulièrement été utilisée.

Pour pouvoir analyser les interactions entre les mesures de politique éducative et l'ISQ, il fallait savoir dans quels pays ont été mises en œuvre ces types de politique. Le rapport de l'OCDE fournit cette information reprise dans la Figure 1 qui indique dans quels pays les 12 politiques prioritaires ont été mises en œuvre entre 2008 et 2019. Sachant que les politiques éducatives mettent toujours un certain temps pour produire des effets observables, nous pensons que prendre en compte leur impact sur l'ISQ entre 2015 et 2018 est une approche pertinente et réaliste.
<figure><img src="image_1.png" /><figcaption>Figure 1 - Principales priorités d'action identifiées dans les systèmes éducatifs participants par l'OCDE ou les gouvernements, 2008-19 (OECD, 2019)</figcaption></figure>
# 3. Méthodologie

## 3.1 Croisement entre les scores de l'ISQ et les mesures de politique éducative

Sur la base de la Figure 1, le travail présenté ici a consisté à croiser chaque type de mesures de politique éducative avec les variations entre 2015 et 2018 dans les scores de l'ISQ (Tableau 1) et de chaque critère (Tableau 2).

Dans la plupart des cas, un pays active plusieurs mesures de politique éducative, que ce soit conjointement ou successivement. Nous avons dès lors fait appel à des analyses de régression linéaire multiple afin d'essayer de mieux tenir compte de cette réalité plurielle.

## 3.2 Analyses de régression linéaire multiple

Notre objectif est d'ordre explicatif : nous sommes chaque fois en présence d'une variable quantitative continue (le taux de variation entre 2015 et 2018) à expliquer par 12 variables qualitatives binaires (l'activation ou non du type de mesure politique).

La régression linéaire multiple s'impose puisque l'observation de la réalité à travers la Figure 1 démontre que les pays (à l'exception des USA) font usage de plusieurs types de mesures. En outre, le modèle de régression linéaire multiple permet de contrôler les variables confondantes, c'est-à-dire des variables qui peuvent influencer à la fois la variable dépendante et la variable indépendante. Les contrôler est très important afin d'obtenir des coefficients de régression le moins biaisés possible.

L'écriture mathématique du modèle est la suivante :

$$Y = \beta0 + \beta1X1 + \beta2X2 + \beta3X3 + ... + \beta12X12 + \varepsilon$$

Puisque nous travaillons sur un échantillon de pays qui n'est pas aléatoire, nous nous limitons à exposer les résultats sans inférence. Plus précisément, nous interprétons les coefficients $\beta$ et présentons le coefficient de détermination $R^2$ afin de savoir comment les variables retenues expliquent la variance de la variable à expliquer.

Il est toutefois primordial dans notre cas de réduire la dimension. En effet, 12 variables, c'est beaucoup trop, d'une part par rapport à la taille de notre échantillon non aléatoire de 34 pays, d'autre part pour s'intéresser à trouver l'influence de facteurs, voire d'interactions entre ces facteurs sur la variable à expliquer. Pour ce faire, nous avons procédé, grâce à un algorithme de la *library* (olsrr) du logiciel R (R Core Team, 2022), à une sélection de variables que nous pourrions conserver dans notre modèle. Les 3 critères retenus pour la sélection des variables sont la minimisation du critère BIC, la maximisation du $R^2$ et *in fine* la positivité (ou la négativité) de tous les coefficients de régression.

## 3.3 Analyses de régression linéaire multiple robuste

Nos données ne sont pas dépourvues de valeurs influentes (*outliers* et/ou *leverage points*), c'est-à-dire des valeurs extrêmes qui ont un effet disproportionné sur les résultats de l'analyse statistique. Afin de tenir compte de tous les pays et de ne pas en retirer des analyses de régression multiple, nous avons procédé lorsqu'il était nécessaire à des régressions robustes en utilisant l'estimateur « MM » (Varin & Panagiotakos, 2020 ; Varin, 2021) de la *library* (robustbase) du logiciel R. Cet estimateur est celui qui minimise l'erreur standard résiduelle (*residual standard error*) et permet effectivement de réduire les effets des valeurs influentes.
# 4. Résultats

Avant de commencer la présentation des résultats, il est important de noter d'une part que la linéarité est respectée pour tous les modèles qui suivent pour lesquels nous interprétons les coefficients de régression et d'autre part, que les variables explicatives ne sont pas colinéaires et que les résidus sont symétriques.

Nous n'interprétons ici que les modèles de régression qui expliquent ($R^2$) un minimum de 5% de la variabilité à expliquer. Les autres modèles ayant un $R^2$ inférieur à 5% sont présentés à titre indicatif sans réelle interprétation.

Il est à noter que le traitement et l'analyse des données ne prend pas en compte les scores de la Turquie, car ils présentent certaines incohérences.

## 4.1 Impact sur le niveau de qualité global

Rappelons que l'ISQ global est un indice synthétique calculé en faisant la moyenne des scores obtenus pour les critères d'efficacité, d'efficience, d'équité et d'engagement des élèves et des enseignants. De par cette essence d'indice synthétique, il y a quelques valeurs influentes qui – malgré une régression robuste – ne permettent de disposer que d'un $R^2$ de 3,4%, ce qui est évidemment une valeur trop faible.

L'analyse par régression robuste ne permet de conserver que la mesure « 11. Améliorer l'équité dans l'allocation des ressources ». Sur cette base et à titre indicatif, nous pouvons retenir qu'intervenir sur l'équité de l'allocation des ressources est la seule mesure qui a un impact même minime sur le niveau global de l'indice synthétique de qualité des systèmes éducatifs. Au vu du faible $R^2$, nous n'interprétons pas cette mesure davantage.

## 4.2 Impact sur le niveau d'efficacité

L'efficacité est la capacité des systèmes éducatifs à atteindre les objectifs qui leur ont été fixés en termes de performances scolaires. Les tests standardisés des études PISA visent avant tout à évaluer ces performances des élèves.

L'analyse par régression multiple ne permet de conserver que la mesure « 9. Attirer et retenir les enseignants ». Le $R^2$ étant de 7,9%, nous interprétons le coefficient tout en ayant conscience que cette unique mesure n'explique qu'une très petite partie (7,9%) de la variabilité de l'efficacité. Les 17 pays de notre échantillon qui ont mis en œuvre cette mesure ont ainsi vu leur score en efficacité augmenter en moyenne de 2,06% entre 2015 et 2018 par rapport aux pays qui n'ont pas mis en œuvre cette mesure.

Ce type de mesure, qui fait écho aux pénuries d'enseignants auxquelles la plupart des pays sont actuellement confrontés, peut donc être considéré comme une piste pour améliorer l'efficacité d'un système éducatif.

## 4.3 Impact sur le niveau d'efficience

L'efficience des systèmes est le rapport entre l'efficacité et les moyens utilisés pour les atteindre, que ces moyens soient d'ordre financier, matériel, humain, temporel, etc.

### 4.3.1 Impact positif sur le niveau d'efficience

L'analyse par régression robuste ne permet également de conserver que la mesure « 9. Attirer et retenir les enseignants ». Cette unique mesure explique (6,4%) de la variabilité de l'efficience. Les 17 pays qui ont mis en œuvre cette mesure ont ainsi vu leur score en efficience augmenter en moyenne de 1,24% entre 2015 et 2018 par rapport aux pays qui n'ont pas mis en œuvre cette mesure.
Comme pour l'efficacité, ce sont donc les politiques qui visent à attirer et retenir les enseignants qui ont un impact, même minime, sur l'efficience, vraisemblablement en agissant directement sur l'efficacité sans pour autant augmenter dans de trop grandes proportions les moyens mobilisés.

Ce constat conforte la relation causale mise en évidence dans notre article sur les réseaux bayésiens, et en particulier le DAG (Gerard, Hugonnier et Varin, 2023). S'il existe une relation fonctionnelle de l'efficacité vers l'efficience, liée au fait que celle-ci est le rapport entre l'efficacité et les moyens nécessités pour l'atteindre, nous avons découvert une relation probabiliste plus forte encore allant de l'efficience vers l'efficacité.

### 4.3.2 Impact négatif sur le niveau d'efficience

S'il est difficile comme nous venons de le constater, d'augmenter l'efficience grâce aux mesures à disposition, il semble que certains types de mesure politique contribuent à la diminuer, ce qui n'est normalement pas un objectif recherché puisque nous considérons que l'efficience est une qualité d'un système éducatif.

La combinaison de mesures la plus délétère est représentée par la mise en œuvre conjointe de la mesure « 6. Développer un cadre cohérent d'évaluation et d'appréciation » et de la mesure « 10. Améliorer l'efficience de l'utilisation des ressources ». Ces 2 mesures expliquent ensemble (R²) 15,1% de la variabilité de l'efficience.

Le coefficient pour « la mesure 6 » est -5,84 alors que celui pour « la mesure 10 » vaut -0,5. Cela signifie que les pays qui ont mis en œuvre ces 2 mesures ensemble ont vu leur score en efficience diminuer en moyenne de 6,84% entre 2015 et 2018 par rapport aux pays qui ne les ont pas activées.

Seize pays sont dans ce cas : Belgique (-4,7%), Chili (-15,7%), République tchèque (-0,5%), Danemark (+12,5%), Espagne (-3,5%), Finlande (+2,8%), France (-5,2%), Royaume-Uni (+11,7%), Islande (-12,2%), Corée (-1,2%), Mexique (+1,2%), Norvège (-0,9%), Portugal (-10,3%), République slovaque (+6,1%), Slovénie (-2,7%) et Suède (+0,4%).

Il est surprenant de constater que les mesures cherchant à augmenter l'efficience dans l'utilisation des ressources ont, en moyenne, un effet contraire à leur objectif, puisqu'elles diminuent le niveau d'efficience. Il faudrait pouvoir réaliser une analyse plus fine, sur la base des politiques réellement mises en œuvre, pour interpréter ce constat.

L'impact négatif visant la mise en place d'un cadre cohérent d'évaluation des élèves est quant à lui peut-être lié au coût qu'engendre son développement.

## 4.4 Impact sur le niveau d'équité

L'équité est la capacité d'un système éducatif à limiter l'impact de l'origine sociale des élèves sur leurs performances scolaires et à garantir l'égalité des chances.

L'analyse par régression robuste permet de conserver un ensemble de 3 mesures : « 4. Remédier à l'absence/au sous-développement de l'évaluation du système », « 7. Faire participer les parties prenantes à la prise de décision » et « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves ». Ces 3 mesures expliquent ensemble (R²) 22,5% de la variabilité de l'équité.

Le coefficient le plus élevé est lié à la mesure 7 (participation des parties prenantes à la prise de décision). Il vaut 4,83. Celui de la mesure 4 est 2,58 alors que pour la mesure 12, il vaut 3,81. Cela signifie que les pays qui ont mis en œuvre ces 3 mesures ensemble ont vu leur score en équité augmenter en moyenne de 11,22% entre 2015 et 2018 par rapport aux pays qui n'ont pas activé ces 3 mesures ensemble.
Neuf pays ont mis en œuvre ces 3 mesures : République tchèque (+10,3%), France (+23,5%), Irlande (+9,4%), Italie (+5,3%), Lettonie (-1,9%), Norvège (+2,3%), Nouvelle-Zélande (+4,6%), République slovaque (0%) et Suède (+4,7%).

Le premier constat est que les taux d'accroissement du niveau d'équité sont relativement élevés par rapport à ceux des autres critères. Cela peut être dû au fait que certains pays ayant fortement diminué leur score d'équité ne sont pas pris en compte dans l'analyse, car ils ne sont pas répertoriés par l'étude de l'OCDE dans les pays ayant pris des mesures (voir Figure 1), par exemple la Suisse et Israël. D'autre part, certains pays pris en compte ont fortement augmenté leur score d'équité, dont en particulier la France.

Au-delà de cette explication, il convient de relever que le R² de 22,5% permet d'expliquer presque un quart de la variabilité de l'équité, ce qui est une proportion très importante. Nous mettons ce constat en relation avec les résultats de nos travaux sur les réseaux bayésiens (Gerard, Hugonnier et Varin, 2023) dont le DAG (*directed acyclic graph*) montre une présence de 100% (sur 100 000 réplications) et 83% de direction de l'équité vers l'ISQ en tant que dépendance fonctionnelle, ce qui sont des résultats exceptionnels. Si on prend en compte la dépendance probabiliste importante de l'équité vers l'efficacité, avec 85% de présence et 88% de direction, on peut émettre l'hypothèse que l'équité joue un rôle-clé dans la qualité des systèmes éducatifs. Cette hypothèse étant constante depuis le début de nos travaux en 2014, nous essaierons de l'investiguer de manière plus systématique dans de prochains travaux.

Cela dit, si la mesure 12 (allocation des ressources ou les conditions d'apprentissage pour soutenir tous les élèves) est retenue comme agissant sur l'équité, il faut constater que les deux mesures qui performent le plus ne sont pas directement liées à l'équité, mais au fonctionnement du système. La première est particulièrement intéressante : la participation des parties prenantes à la prise de décision, que ce soient les enseignants, les élèves, les parents, les éducateurs, etc. Cela signifierait qu'impliquer directement tous les acteurs du système est un des meilleurs moyens pour rendre l'enseignement plus équitable.

Relevons enfin que l'amélioration des compétences des enseignants, stratégie souvent activée par les politiques éducatives, a un effet positif (+1,04%), mais que cette mesure n'explique (R²=3,3%) qu'une très petite partie de la variabilité en équité. Dès lors, nous déconseillons l'interprétation de cet effet positif.

## 4.5 Impact sur le niveau d'engagement des élèves

L'engagement des élèves concerne la volonté de ceux-ci de faire les investissements et les efforts nécessaires pour améliorer leurs performances scolaires.

### 4.5.1 Impact positif sur le niveau d'engagement des élèves

L'analyse par régression multiple ne permet que de conserver la combinaison de mesures suivante, à titre indicatif : « 6. Développer un cadre cohérent d'évaluation et d'appréciation » (+2,89%) et « 11. Améliorer l'équité dans l'allocation des ressources » (+3,27%). À nouveau, cette combinaison de mesures est présentée sans être davantage commentée, car le R² (3,7%) respectif est trop faible. Cette combinaison n'explique donc qu'une très petite partie de la variation du critère « engagement des élèves » entre 2015 et 2018.

### 4.5.2 Impact négatif sur le niveau d'engagement des élèves

En revanche, il apparaît que certaines mesures diminuent le score de l'engagement des élèves. En effet, la combinaison des trois mesures « 3. Définir les priorités et les objectifs de l'éducation nationale », « 4. Remédier à l'absence/au sous-développement de l'évaluation du système » et « 7. Faire participer les parties prenantes à la prise de décision » expliquent ensemble (R²) 17,9% de la variabilité de l'engagement des élèves.
Le coefficient pour la mesure 3 est -7,49 alors que celui pour la mesure 4 vaut -4,38 et de la mesure 7 vaut -4,35. Ce qui signifie que les pays qui ont mis en œuvre ensemble ces 3 mesures ont vu leur score en engagement des élèves diminuer en moyenne de 16,22% entre 2015 et 2018 par rapport aux pays qui n'ont pas mis en œuvre ces 3 mesures ensemble.
Huit pays sont dans ce cas : Australie (-0,6%), République tchèque (+25,8%), Royaume-Uni (-21%), Irlande (-19,2%), Italie (-16,4%), Japon (-13,5%), Lettonie (-25,3%) et Suède (+6,5%).

## 4.6 Impact sur le niveau d'engagement des enseignants·es

L'engagement des enseignants·es se réfère à l'implication de leur part pour permettre à tous les élèves de progresser dans leurs études.

L'analyse de régression multiple permet de conserver un ensemble de deux mesures : la mesure « 11. Améliorer l'équité dans l'allocation des ressources » et la mesure « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves » qui expliquent ensemble (R²) 14,6% de la variabilité de l'engagement des enseignants.

Le coefficient pour la mesure 11 est 3,52 alors que celui pour la mesure 12 vaut 2,09. Ce qui signifie que les pays qui ont mis en œuvre ces 2 mesures ensemble ont vu leur score en engagement des enseignants augmenter en moyenne de 5,61% entre 2015 et 2018 par rapport aux pays qui n'ont pas mis en œuvre ces 2 mesures ensemble.

Douze pays sont concernés par ces deux mesures : Autriche (+5,1%), Belgique (+10,5%), Canada (-0,4%), Chili (+10%), République tchèque (+12%), Danemark (+10,9%), France (+10%), Japon (+17,5%), Norvège (+6,9%), Nouvelle-Zélande (-1,4%), Slovénie (+0,4%) et Suède (+3,7%).

Relevons que tous les types de politique mise en œuvre ont un effet positif relativement élevé à cet égard. Ce constat fait écho à un discours souvent entendu de la part des enseignants·es sur la diminution du respect qui leur est témoigné de la part des élèves et des parents, mais aussi de la société en général et des politiciens. Le simple fait de voir que des politiques sont développées dans les écoles pourrait inciter les enseignants·es à s'impliquer davantage dans leur métier.

Comme pour les élèves, les politiques qui visent une allocation plus équitable des ressources ont un impact très positif pour l'engagement des enseignants·es. Cela pourrait être expliqué par le fait que les enseignants·es qui se sentent peu respecté·es, spécialement dans les zones défavorisées, trouveraient une reconnaissance motivante dans cette meilleure distribution des ressources.

Il faut constater que, paradoxalement, les mesures qui visent à attirer et à retenir les enseignants·es dans le système éducatif n'ont pas pu être prises dans l'analyse en raison du manque d'explication de la variabilité de l'engagement des enseignants par cette mesure (R²=0%).

## 5. Discussion

Les résultats obtenus par notre analyse peuvent interpeller à certains égards puisqu'ils montrent que les effets ne vont pas toujours dans le sens attendu, sans que nous ayons des explications définitives par rapport à ces constats parfois contre-intuitifs. Plutôt que de rejeter ces résultats paradoxaux, il nous semble important de les prendre en compte et de se laisser interpeller, tout en cherchant dans nos recherches futures à les confirmer et à les interpréter.
Le Tableau 3 reprend tous les coefficients de variation qui ont pu être retenus au terme des analyses de régression linéaire multiple, robuste pour certains cas. Les mesures politiques sont présentées dans l'ordre décroissant du nombre de pays les ayant activées dans les travaux de
l'OCDE. Certains pays de l'échantillon de l'OCDE ne sont pas présents dans le nôtre<fnref n="8" />. Aussi, nous indiquons entre parenthèses le nombre de pays de notre échantillon qui ont activé la mesure.

Les nombres, positifs ou négatifs, correspondent aux coefficients β qui ont pu être retenus sur la base d'un R² de l'analyse de régression linéaire multiple supérieur à 5%. Ces coefficients expriment le changement moyen du taux de variation pouvant être liée au type de mesure concerné dans la combinaison retenue par l'analyse de régression multiple. Par exemple, pour l'équité, la somme du changement moyen du taux de variation de l'équité entre 2015 et 2018 est de 11,22% pour les pays qui ont mis en œuvre les 3 mesures par rapport aux pays qui n'ont pas mis en œuvre ces 3 mesures, dont 4,83% peuvent être attribués à la mesure « 7. Faire participer les parties prenantes à la prise de décision », 3,81% à la mesure « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves » et 2,58% à la mesure « 4. Remédier à l'absence/au sous-développement de l'évaluation du système ». Les X indiquent des mesures qui ont une influence, mais avec une part de variance (R²) inférieure à 5% et qui ne sont reprises ici qu'à titre indicatif. Les cases vides indiquent que la part de variance expliquée des combinaisons incluant ces mesures dans les analyses de régression multiple est proche de zéro. Les mesures concernées ne peuvent donc être prises en compte dans l'analyse.

Insistons enfin sur le fait que notre travail d'analyse ne concerne pas les situations spécifiques de chaque pays, mais l'ensemble des pays et l'ensemble des mesures.

<table><caption>Tableau 3 - Récapitulatif des coefficients β retenus</caption><thead><tr><th>Mesures (nombre de pays concernés)</th><th>ISQ</th><th>Efficacité</th><th>Efficience</th><th>Équité</th><th>Engag. Élèves</th><th>Engag. Enseig.</th></tr></thead><tbody><tr><td>01. Transférer la responsabilité de la division dans l'ensemble du système (25)</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>02. Améliorer les qualifications, les compétences et la formation des enseignants (23)</td><td></td><td></td><td></td><td>X</td><td></td><td></td></tr><tr><td>03. Définir les priorités et les objectifs de l'éducation nationale (19)</td><td></td><td></td><td></td><td></td><td>-7,49%</td><td></td></tr><tr><td>04. Remédier à l'absence/au sous-développement de l'évaluation du système (20)</td><td></td><td></td><td></td><td>2,58%</td><td>-4,38%</td><td></td></tr><tr><td>05. Réaliser une évaluation scolaire interne et externe de qualité (22)</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>06. Développer un cadre cohérent d'évaluation et d'appréciation (21)</td><td></td><td></td><td>-5,84%</td><td></td><td>X</td><td></td></tr><tr><td>07. Faire participer les parties prenantes à la prise de décision (21)</td><td></td><td></td><td></td><td>4,83%</td><td>-4,35%</td><td></td></tr><tr><td>08. Augmenter ou maintenir les dépenses d'éducation. (20)</td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>09. Attirer et retenir les enseignants (17)</td><td></td><td>2,06%</td><td>1,24%</td><td></td><td></td><td></td></tr><tr><td>10. Améliorer l'efficience de l'utilisation des ressources (19)</td><td></td><td></td><td>-0,50%</td><td></td><td></td><td></td></tr><tr><td>11. Améliorer l'équité dans l'allocation des ressources (16)</td><td>X</td><td></td><td></td><td></td><td>X</td><td>3,52%</td></tr><tr><td>12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves. (20)</td><td></td><td></td><td></td><td>3,81%</td><td></td><td>2,09%</td></tr></tbody></table>

Le premier constat à réaliser est le nombre élevé de cases vides : sur les 72 cases du tableau, 56 d'entre elles le sont, soit près de 4 cases sur 5. Cet état est principalement lié à la rigueur des régressions linéaires multiples, indispensables pour rendre compte du fait que – dans tous

<footnote n="8">⁸ Kazakhstan, Lituanie, Colombie, Costa Rica</footnote>
les cas, excepté les USA – les pays ont mis en œuvre conjointement ou successivement, plusieurs types de mesure de politique éducative.

À cet égard, un deuxième constat s'impose : trois types de mesure n'ont jamais été retenus par les analyses de régression multiple : « 1. Transférer la responsabilité de la division dans l'ensemble du système », « 5. Réaliser une évaluation scolaire interne et externe de qualité » et « 8. Augmenter ou maintenir les dépenses d'éducation ». Il faut y ajouter la mesure « 2. Améliorer les qualifications, les compétences et la formation des enseignants » qui n'est reprise qu'à titre indicatif étant donné le très faible R² (3,5%) de la régression la concernant. Il est étonnant de constater que ces types de mesure politique, dont ceux qui sont les plus activés par les pays dans le cadre de l'étude de l'OCDE (OECD 2019), n'ont, selon nos analyses, que peu d'impact sur la qualité des systèmes éducatifs mesurée par l'ISQ pouvant être retenu par nos analyses. Il est important de dire à cet égard que cela ne signifie pas que ces mesures ne doivent pas être activées ni qu'elles n'ont aucun impact dans une situation précise. On peut à cet égard formuler l'hypothèse suivante : les pays n'ont pas activé ces mesures principalement pour améliorer la qualité de leur système éducatif, mais pour augmenter le PIB ou tout autre indicateur davantage en lien avec le monde économique.

Un troisième constat est qu'aucune des stratégies politiques étudiées ne peut être retenue comme ayant un impact sur le niveau global de qualité des systèmes éducatifs, la mesure « 11. Améliorer l'équité dans l'allocation des ressources » n'étant reprise ici qu'à titre indicatif. Même les coefficients issus des analyses de régression simple sont très peu élevés, ce qui explique qu'ils ne sont pas retenus par des analyses de régression multiple. Cette situation est vraisemblablement liée au fait que l'ISQ est bien un indice synthétique qui combine en un seul score les résultats obtenus par les pays sur l'ensemble des critères de qualité étudiés. Le constat est important : il est difficile, voire impossible, pour un pays de décider d'augmenter de manière rationnelle le niveau de qualité global de son système éducatif.

Un quatrième constat est qu'il est cependant possible d'agir sur certains critères. Pour trois d'entre eux, des combinaisons d'actions politiques se révèlent en effet intéressantes :

* pour l'équité, l'activation conjointe des mesures « 7. Faire participer les parties prenantes à la prise de décision », « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves » et « 4. Remédier à l'absence/au sous-développement de l'évaluation du système » peut expliquer 22,5% de la variance ;

* pour l'engagement des enseignants, ce sont les mesures « 11. Améliorer l'équité dans l'allocation des ressources » et « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves » qui peuvent expliquer 14,6% de la variance ;

* pour l'efficacité enfin, la mesure « 9. Attirer et retenir les enseignants » explique 7,9% de la variance du taux de variation de son score entre 2015 et 2018.

Il est intéressant de relever que les mesures retenues n'ont pour la plupart pas de lien explicite avec le critère sur lequel elles ont un impact, à l'exception de la mesure « 12. Améliorer les conditions d'apprentissage pour soutenir tous les élèves » dont l'objectif annoncé est bien d'améliorer l'équité du système. Pour le même critère, on peut ainsi s'étonner qu'une mesure telle que « 11. Améliorer l'équité dans l'allocation des ressources » ne semble pas avoir d'effet, du moins de manière suffisamment prononcée.

En revanche, il est vraiment intéressant de constater que la mesure « 7. Faire participer les parties prenantes à la prise de décision » a un effet important sur l'équité (β=4,83%) alors qu'a priori, cette mesure ne la concerne pas directement. Plusieurs hypothèses explicatives peuvent être avancées :
* en permettant aux parties prenantes, telles que les parents, les élèves, les enseignants et les communautés locales, de participer à la prise de décisions, on s'assure que les décisions prises reflètent les besoins, les attentes et les préférences de toutes les parties concernées. Cela peut conduire à des décisions plus équitables qui tiennent compte des réalités et des perspectives de toutes les parties impliquées ;

* la participation des parties prenantes peut contribuer à renforcer la confiance dans le système éducatif. Lorsque les gens ont la possibilité de participer à la prise de décision, ils ont tendance à se sentir plus impliqués et investis dans le système éducatif, ce qui peut conduire à une plus grande satisfaction des parties prenantes et à une plus grande acceptation des décisions prises ;

* en permettant aux parties prenantes de participer à la prise de décision, on peut également contribuer à réduire les inégalités dans le système éducatif, car il est probable que les décisions prises ne profitent alors pas seulement à certains groupes privilégiés, mais qu'elles sont bénéfiques pour tous les élèves.

Cela nous amène à un cinquième constat : pour certains critères, les combinaisons d'actions politiques retenues ont un effet négatif. Ces mesures devraient donc, sur la base de nos analyses, être évitées si on veut améliorer les critères concernés :

* pour l'engagement des élèves, 17,9% de la variance peuvent être expliqués par la combinaison de trois mesures, qui relèvent chaque fois de la gouvernance : « 3. Définir les priorités et les objectifs de l'éducation nationale » (β= -7,49%), « 4. Remédier à l'absence/au sous-développement de l'évaluation du système » (β= -4,38%) et « 7. Faire participer les parties prenantes à la prise de décision » (β= -4,35%);

* pour l'efficience, les mesures « 6. Développer un cadre cohérent d'évaluation et d'appréciation » (β= -5,84) et plus faiblement (β= -0,5%) « 10. Améliorer l'efficience de l'utilisation des ressources » expliquent ensemble 15,1% de la variance de l'efficience entre 2015 et 2018.

À nouveau, on peut s'étonner qu'une mesure telle que « 10. Améliorer l'efficience de l'utilisation des ressources » qui vise explicitement un effet positif sur l'efficience se révèle au bout du compte avoir un effet négatif, même si celui-ci est relativement faible.

On peut aussi s'étonner devant l'effet contrasté de la mesure « 7. Faire participer les parties prenantes à la prise de décision » qui, alors qu'elle a un impact assez positif sur le critère d'équité, semble avoir un effet négatif sur celui d'engagement des élèves, sans qu'on puisse expliquer avec certitude ce constat. Tout au plus, peut-on émettre certaines hypothèses :

* impliquer les parties prenantes dans la prise de décision peut rendre le processus plus complexe et plus lent, ce qui peut nuire à l'engagement des élèves qui ont besoin d'une réponse plus rapide à leurs besoins éducatifs ;

* la participation des parties prenantes peut parfois conduire à des désaccords et des conflits entre les différents groupes, ce qui peut créer des tensions susceptibles d'affecter l'engagement des élèves dans le système éducatif.

## 6. Conclusion

Pour la première fois, le croisement des données identifiées dans le cadre de l'indice synthétique de la qualité des systèmes éducatifs et les informations recueillies et analysées par l'OCDE sur les politiques éducatives mises en œuvre dans les pays concernés permet d'identifier des types de mesures politiques qui sont plus susceptibles ou non d'améliorer la qualité des systèmes en fonction des objectifs des responsables de la gestion des systèmes éducatifs. Les orientations qui peuvent en résulter doivent bien sûr être prises avec la plus grande prudence, tant il s'agit de mécanismes complexes qui ne peuvent être réduits à des
variations, parfois minimes, entre deux moments. Sur la base de ces résultats, les responsables des systèmes éducatifs peuvent se poser des questions sur les stratégies qu’ils souhaitent développer, non seulement en fonction de leurs objectifs et des bénéfices espérés de telle ou telle mesure, mais aussi en prenant en compte les effets qu’ont eus la mise en œuvre de ces mesures dans d’autres pays.

Tous ces résultats doivent, nous le répétons, être pris avec prudence et nuance. Même s’ils sont issus d’analyses de régression multiple rigoureuses, ce sont plus des pistes de réflexion que des affirmations étayées. Ils devront d’ailleurs être confirmés ou nuancés lors des calculs des ISQ suivants, en fonction de la parution par l’OCDE des données des études PISA.

Les propositions de combinaisons de mesures politiques qui sont faites pour améliorer tel ou tel critère constitutif de la qualité d’un système éducatif sont toujours générales. Elles sont fondées sur des appellations génériques réalisées par l’OCDE dans le cadre de ses travaux. Si celles-ci sont construites sur la base de stratégies concrètes mises en œuvre dans les pays, elles sont considérées ici comme des ensembles cohérents, sans appréhender la réalité de ce qui se fait réellement dans chaque pays. Deux pays censés activer telle mesure – par exemple « attirer et retenir les enseignants » – ne réalisent vraisemblablement pas les mêmes actions concrètes sur le terrain. Cette limite inhérente aux approches des travaux tant de l’OCDE que des nôtres ne doit cependant pas conduire à un rejet des propositions qui en émanent.

Les travaux sur l’indice synthétique de la qualité des systèmes éducatifs, initiés en 2014, permettent de mieux analyser et comprendre les nombreuses interactions complexes qui sont en jeu dans ces systèmes. Tant le recours aux réseaux bayésiens, en particulier le DAG (Gerard, Hugonnier et Varin, 2023), que les croisements réalisés ici entre les six critères constitutifs de la qualité et les 12 types de mesures politiques mises en évidence par l’OCDE permettent d’identifier un certain nombre de relations causales entre différents éléments. Ces relations, issues d’analyse et de traitement robustes des données, peuvent parfois interpeller. Il convient donc de continuer à les explorer et à les étayer.

Notamment, tous nos travaux convergent sur le rôle-clé que semble jouer le critère d’équité dans la qualité des systèmes éducatifs. Les premiers calculs de l’ISQ ont montré que l’équité était le seul critère corrélé de manière plus ou moins importante avec les autres critères (Gerard, Hugonnier et Varin, 2017, 2018). L’utilisation des réseaux bayésiens, en particulier le DAG, ont montré non seulement une forte relation causale fonctionnelle de l’équité vers l’ISQ, mais aussi une relation causale probabiliste importante entre l’équité et l’efficacité (Gerard, Hugonnier et Varin, 2023). Enfin, la présente recherche montre qu’une combinaison de trois mesures permet d’expliquer presque un quart de la variabilité de l’équité. Tous ces constats nous poussent à chercher à mieux comprendre encore le rôle de l’équité dans la qualité des systèmes d’éducatifs, ce que nous ferons dans un texte à venir.

## 7. Références

Bautier, É. et Marchand, J. (2020). Peut-on concilier qualité et équité dans les réformes en éducation ? *Revue internationale d'éducation de Sèvres*, 83, 85-93.
https://doi.org/10.4000/ries.9237

Behrens, M. (dir.) (2007). *La qualité en éducation : pour réfléchir à la formation de demain*. Presses de l'Université du Québec.

Bouchard, C. et Plante, J. (2000). La qualité : sa définition et sa mesure. *Service social*, 47(1/2), 27-62.

Bouchard, C. et Plante, J. (2003). La qualité : mieux la définir pour mieux la mesurer. *Les Cahiers du Service de Pédagogie Expérimentale*, (11/12), Service de pédagogie expérimentale de l'université de Liège, 219-236.
Chatel, É. (2006). Qu’est-ce qu’une éducation de “qualité” : Réflexion à partir de l’évaluation comparée des deux diplômes technologiques et professionnels tertiaires. *Éducation et sociétés*, 2(2), 125-140. https://doi.org/10.3917/es.018.0125

Conférence des ministres de l'éducation des pays ayant le français en partage (2011). *Qualité de l'éducation : un enjeu pour tous : constats et perspectives : document de réflexion et d'orientation*. https://www.confemen.org/wp-content/uploads/2022/07/DRO-SUR-LA-QUALITE-DE-L-EDUCATION.pdf

Corriveau, L., Boyer, M. et Fernandez, N. (2009). La qualité en éducation : un enjeu de collaboration à cerner. *La revue de l'innovation : La Revue de l'innovation dans le secteur public*, Vol. 14(3), 1-24.

De Ketele, J.-M. et Gerard, F.-M. (2007). La qualité et le pilotage du système éducatif, in M. Behrens (Éd.). *La Qualité en éducation. Pour réfléchir à la formation de demain*. Québec : Presses de l'Université du Québec, collection Éducation-Recherche, Chap.1, pp. 19-38. http://www.fmgerard.be/textes/Pilotage.pdf

Dominguez-Gil, C., Segovia-Gonzalez, M.M. & Contreras, I. (2022). A multiplicative composite indicator to evaluate educational systems in OECD countries, *Compare: A Journal of Comparative and International Education*, 52:8, 1296-1313, DOI : 10.1080/03057925.2020.1865791

Foin, S. et Gauthier, R.-F. (2020). Quelle mesure de la qualité dans les réformes éducatives ? *Revue internationale d'éducation de Sèvres*, 83, 95-104.
https://journals.openedition.org/ries/9338

Gerard, F.-M. (2001). L'évaluation de la qualité des systèmes de formation, *Mesure et Évaluation en Éducation*, Volume 24, n°2-3, 53-77.
http://www.fmgerard.be/textes/EEEEE.pdf

Gerard, F.-M., Hugonnier, B. et Varin, S. (2017). La qualité des systèmes éducatifs des pays de l'OCDE enfin mesurée, in B. Hugonnier & G. Serrano (dir.). *Réconcilier la République et son école*. Paris : Éditions du Cerf, pp. 61-73.
http://www.fmgerard.be/textes/La%20qualite%20des%20systemes%20educatifs.pdf

Gerard, F.-M., Hugonnier, B. et Varin, S. (2018). Mesure de la qualité des systèmes éducatifs des pays de l'OCDE, in ADMEE-Europe, *L'évaluation en éducation et en formation face aux transformations des sociétés contemporaines, Actes du colloque*, Esch-sur-Alzette : Université de Luxembourg, pp. 131-143.
http://www.fmgerard.be/textes/Mesure%20de%20la%20qualite.pdf

Gerard, F.-M., Hugonnier, B. et Varin, S. (2023). Bayesian networks and causal discovery: what lessons for the synthetic indicator of the quality of education systems in OECD countries?, *International Journal of Research in Social Sciences*, Volume 13 Issue 1, January 2023, ISSN: 2249-2496, Thomson Reuters ResearcherID: L-5180-2015, 73-81.
https://www.ijmra.us/project%20doc/2023/IJRSS_JANUARY2023/IJRSS8Jan23.pdf

Gerard, F.-M., Hugonnier, B. et Varin, S. (En soumission). Indicateur synthétique de la qualité des systèmes éducatifs des pays de l'OCDE : comparaison des résultats 2015 et 2018.

Hanushek, E. A. et Wößmann, L. (2012). *Education Quality and Economic Growth*. The World Bank.
https://www.inesss.qc.ca/fileadmin/doc/INESSS/Rapports/ServicesSociaux/INESSS_Outils_evaluation_risque_abus*_physique_enfants.pdf.

Murafa, C. Ikonomi, E., Todorakov, L., Mickovksa-Raleva, A., Brankovic, N., Georgiana Radu R. Ivan, C., Stankovic, D., Radisic, J. et Klemencic, E. (2012). *Quality assurance in Basic education in South Eastern Europe: What Works in Our Region?* Global Development Network, Open Society Institute Romanian Academic Society (RAS).
Organisation for Economic Cooperation and Development (2019). *Education Policy Outlook 2019 – Working Together to Help Students Achieve their Potential*. OECD Publishing, Paris. https://doi.org/10.1787/2b8ad56e-en

R Core Team (2022). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/.

Roegiers, X. (1997). *Analyser une action d'éducation ou de formation*. De Boeck Université.

Sall, H. N. et De Ketele, J.-M. (1997). L'évaluation du rendement des systèmes éducatifs : apports des concepts d'efficacité, d'efficience et d'équité. *Mesure et évaluation en éducation, 19*(3), 119-142.

Varin, S. (2021). « Classement de la qualité des systèmes éducatifs européens », in : *Variations critiques à propos du néolibéralisme : aspects philosophiques, politiques, économiques et éducatifs*. (2021). Sous la dir. de Varin, S. & Chancerel, J.-L. Thélème-L'Harmattan, Bruxelles.

Varin, S. (2021a). Comment et pour quelles raisons évaluer la qualité des systèmes éducatifs ? Dans S. Varin & J.-L. Chancerel, *Variations critiques à propos du néo-libéralisme – Aspects philosophiques, politiques, économiques et éducatifs* (p. 51-101). Academia L'Harmattan.

Varin, S. (2021b). La qualité des systèmes éducatifs européens comme déterminant de la croissance économique. Dans S. Varin et J.-L. Chancerel, *Variations critiques à propos du néo-libéralisme – Aspects philosophiques, politiques, économiques et éducatifs* (p. 201-223). Academia L'Harmattan.

Varin, S. & Panagiotakos, DB. (2020). A review of robust regression in biomedical sciences' research, *Archives of Medical Sciences* (AMS) 6 (5) : 1267-1269.

Varin, S. (2021). "Comparing the performances of OLS and 7 different robust regression estimators on a real and simulated datasets". *International Journal of Engineering Applied Sciences and Technology (IJEAST)*, Vol. 5(11) : 9-23.