Qualité

Dans une étude aussi vaste et complexe que le programme PISA, il importe d’accorder une attention toute particulière à la garantie de la qualité. Cela est valable aussi bien pour la réalisation des tests et des questionnaires que pour la traduction des questions, le tirage des élèves, le bon déroulement des tests et le codage, la pondération et l’exploitation des données collectées. Nous relevons ci-dessous quatre types de standards internationaux.

Qualité des directions nationales en charge du projet

Chaque direction nationale en charge du projet reçoit la visite d’experts de l’OCDE, qui discutent et examinent les principales mesures prises au niveau national (tirage de l’échantillon, traduction, manuels, etc.).

Qualité des échantillons

Toutes les procédures relatives au plan d’échantillonnage et au tirage d’échantillons font l’objet de directives internationales très précises dont l’application est vérifiée avec soin.

Qualité de la collecte des données

Le matériel de test ainsi que toutes les procédures suivies pendant les sessions sont conçus par le consortium international. Toutes les traductions et adaptations nationales doivent recevoir son accord. Dans chaque pays participant, des experts mandatés par l’OCDE rendent visite à plusieurs écoles pendant les tests, dont ils contrôlent l’administration. Ils observent les procédures et rédigent un rapport sur leur conformité avec les directives internationales.

Qualité du codage des données

La codification des réponses ouvertes est décrite avec précision dans des guides internationaux et chaque pays envoie ses responsables de codification à la formation internationale. Les centres nationaux en charge du programme subissent des contrôles rigoureux par le consortium international sur la qualité des données, qui procède également à de nombreux tests de validation.