Comment interpréter les enquêtes internationales sur le niveau des élèves ?

Publié le 2 juin 2023 à 10h10 - par

Selon deux universitaires, les enquêtes internationales sont dans l’incapacité de mesurer les progrès réalisés, car elles n’évaluent pas les mêmes élèves de manière répétée.

Comment interpréter les enquêtes internationales sur le niveau des élèves ?
© Par Vasyl - stock.adobe.com

Alors que sont parus, le 16 mai 2023, les résultats de la dernière enquête PIRLS, qui mesure la capacité des écoliers à rechercher de l’information pertinente dans un texte, à le comprendre et à faire des déductions, deux universitaires ont publié sur le réseau The Conversation un article intitulé : « Enquêtes internationales sur le niveau des élèves : comment les interpréter ». Cette question taraude autant les parents que les enseignants et les politiques, qui scrutent avec attention… et crainte les résultats de ces enquêtes. « Ces études peuvent faire l’objet d’interprétations biaisées ou simplificatrices. Elles sont surtout, trop souvent, réduites à de simples classements, bien qu’elles offrent un panorama beaucoup plus riche et complexe des évolutions éducatives », expliquent Nadir Altinok, maître de conférences à l’Université de Lorraine, et Claude Diebolt, directeur de recherche au CNRS (Université de Strasbourg).

Développée par l’International Association for the Evaluation of Educational Achievement (IEA), l’enquête PIRLS (Progress for International Reading Literacy Study) mesure, en fin de quatrième année de scolarité obligatoire – en classe de CM1, donc, pour la France –, la capacité des écoliers à rechercher de l’information pertinente dans un texte, à le comprendre, ceci afin d’effectuer des inférences (c’est-à-dire des déductions, en fonction de leurs connaissances antérieures) sur la thématique abordée. Contrairement à certaines évaluations nationales, PIRLS ne concerne en rien la maîtrise de l’orthographe et des règles de grammaire. L’enquête se concentre sur la capacité des élèves à effectuer des raisonnements structurés. Comme pour toutes les enquêtes internationales de ce genre, la performance de chaque élève pour un ensemble de questions est établie statistiquement à partir de ses réponses à seulement quelques questions. « Ainsi, l’on nommera « valeur plausible » le score de chaque élève, qui en vérité demeure inconnu ! », précisent les deux universitaires.

Le P de PIRLS signifiant « Progress », l’IEA a rapidement compris que, par-delà tout classement de pays, c’est l’évolution de la performance des élèves, entre 2001 et 2021, qui est statistiquement significative, expliquent les auteurs de l’article. De même, bien plus que le classement, c’est la distance relative de la France vis-à-vis des autres pays qui importe. Dans cette perspective, la  comparaison de la France avec la Finlande s’avère particulièrement instructive. Classée en milieu de tableau, la France obtient un score d’environ 35 points inférieurs à ceux du pays scandinave en 2021. « Cet écart de points pèse davantage dans la balance que le classement à proprement parler », insistent Nadir Altinok et Claude Diebolt.

À titre d’exemple, un écart de 10 points n’est pas toujours significatif statistiquement. Or, celui-ci peut aisément se transformer en cinq voire six places de perdues dans le classement international. C’est le cas dans l’enquête PIRLS 2021, où seulement 10 points séparent la France et l’Allemagne. Or, l’Allemagne est classée au 26e rang, la France, au 32e. Au contraire, la comparaison avec la Finlande représente une différence d’environ 1 point sur l’échelle de notes française, « ce qui est clairement plus significatif. » En supposant qu’une année scolaire en primaire apporte 35 points, en tendance, les résultats montrent que la Finlande parvient à faire progresser ses élèves d’environ une année de plus que la France. « Ce type de mise en perspective est définitivement plus parlant qu’une simple place dans un classement », répètent les universitaires.

« Au-delà des scores, que nous apprennent les enquêtes internationales ? », interrogent-ils. Est-ce que copier la politique éducative des pays avec de meilleures performances serait une stratégie pertinente afin d’améliorer les scores de la France ? « Chaque système éducatif ayant sa propre trajectoire, transposer aveuglement le modèle de pays dont les scores sont élevés n’est pas nécessairement gage de succès. En effet, les récentes expérimentations soulignent l’absence de consensus sur les méthodes les plus efficaces. Quant aux recherches en économie de l’éducation, elles sont relativement pauvres en résultats transposables », tempèrent Nadir Altinok et Claude Diebolt, dans leur réponse. Au final, la principale limite de PIRLS renvoie surtout à son incapacité de mesurer les « progrès » des élèves : les enquêtes internationales n’évaluent pas les mêmes élèves de manière répétée, concluent-ils.