Un petit focus sur la qualité d'une base de questions et comment elle peut être améliorée simplement.
L’évaluation est une science, vraiment. Et rien n’est plus dommageable qu’un dispositif qui produit une mesure dénuée de valeur, voire erronée.
Imaginez qu’en additionnant les points obtenus à chacune des questions posées, vous obteniez un score de 74%. Vous aviez fixé un seuil requis à 80%, l’évaluation est échouée. Mais il conviendrait de s’intéresser à la marge d’erreur, dite “erreur standard” de la distribution des scores.
Si votre test a trop peu de questions, ou bien si certaines questions sont de faible qualité, l’erreur standard peut être de plus de 10%, ce qui changera radicalement vos conclusions. Or une fois analysée statistiquement, la qualité d’une base de questions peut être améliorée assez facilement.
Alors comment définir le nombre de questions qui doivent être intégrer à une évaluation ? La réponse dans notre article dédié !
|
L'analyse statistique de la qualité d'une évaluation
L’analyse statistique d’un ensemble de tests passés permet de mesurer la qualité du test dans son ensemble, sa cohérence (le KR20), d’évaluer la marge d’erreur des scores produits, et d’identifier les questions de faible qualité. Ce sont des questions qui sont faiblement corrélées, ou négativement corrélées au test. Autrement dit : plus on est expert moins on réussit ces questions.
La question est peut-être mal formulée, un peu ambigüe, ou simplement erronée. Ce n’est pas une considération purement théorique : l’expérience nous montre que 2 à 4% des questions sont dans ce cas. Et ces questions dégradent la qualité de vos tests, c’est à dire qu’elles en accroissent la marge d’erreur. De telles questions doivent être modifiées.
Faire passer des évaluations qui ne sont pas fiables, ce n'est pas seulement une perte de temps, c’est une faute, envers les personnes dont les compétences seront mal jugées. C’est pourtant un sujet méconnu, souvent totalement négligé. Les formules statistiques peuvent effrayer, mais une bonne solution les prendra en charge de manière transparente, et vous donnera des analyses qualité prêtes à l’emploi.
Le LMS ExperQuiz et l'amélioration de la qualité des évaluations
C’est ce que fait ExperQuiz, qui vous permet de mener une analyse qualité sur un large ensemble de tests passés, et vous donnera l’indicateur général de cohérence, le KR20, dont se déduit l’erreur standard sur les scores, mais aussi permettra d’identifier les questions à réviser, avec deux algorithmes différents: l’écart des quartiles d’une part, la mesure de corrélation d’autre part.
À l’issue de ces analyses, une puce de couleur sera affectée à chaque question, vous permettant de facilement mener vos corrections.
Pour en savoir plus sur le traitement statistique des évaluations, téléchargez gratuitement notre livre blanc dédié sur le sujet !
|