Un examen systématique et régi par des protocoles des résultats d'évaluation et des métadonnées visant à évaluer la qualité des données, la distribution des scores, le fonctionnement des items et les motifs émergents qui éclairent l'interprétation et les décisions.

Principe

Appliquer des contrôles analytiques et des routines de revue des parties prenantes prédéfinis de façon itérative pour faire apparaître problèmes de mesure, biais, erreurs techniques et motifs significatifs dans leur contexte avant la communication ou la prise de décision.

Démonstration

Un processus d'analyse d'items qui examine la difficulté et la discrimination des items, les cartes personne‑item, les distributions de temps passé et les comparaisons entre sous‑groupes pour détecter un fonctionnement différentiel des items et des irrégularités d'administration.

Mauvaise application

Revoir uniquement les résultats favorables ou effectuer des analyses post hoc pour justifier une décision préférée au lieu de suivre le protocole de revue, ce qui peut dissimuler des biais et tromper les parties prenantes.

Conséquence

Meilleure validité des interprétations, corrections ciblées d'items ou d'administration, communication plus claire des limites et décisions basées sur les données quant à l'utilisation des scores et la remédiation.

Inversion

Sauter l'examen systématique laisse des erreurs de mesure, des items biaisés et des anomalies contextuelles non traités, au risque de tirer de mauvaises conclusions sur la réussite des apprenants et les performances du système.

Limite

Se concentre sur l'étape analytique et interprétative (données cotées et métadonnées) ; il n'impose pas les méthodes de collecte primaire des données ni le développement complet de modèles psychométriques, bien qu'il puisse les recommander.

Tension sémantique

Étroitement lié au rapport de données : la revue est analytique et diagnostique, priorisant la validité interne et la détection des problèmes, tandis que le rapport synthétise les résultats pour des publics externes et la reddition de comptes.

Synthèse

La revue des données d'évaluation est l'étape analytique disciplinée qui transforme scores bruts et métadonnées en informations validées en appliquant contrôles, diagnostics et interprétations des parties prenantes pour soutenir une utilisation responsable des résultats.