Pourquoi est-il important de définir le niveau de difficulté des questions ?
Quelle que soit la thématique, il pourra être utile de définir le niveau de difficulté de chacune des questions. Cela permet d'accompagner la progression de chacun, de ne pas écraser les débutants avec des questions d'expert, ni d'ennuyer les experts avec des questions de débutants.
Il faut donc écrire des questions correspondant aux différents niveaux, mais aussi affecter correctement les niveaux à chaque question.
Apporter de l’importance à la définition du niveau de difficulté des questions permet d’accroître la fiabilité et la pertinence des questionnaires, tests et évaluations.
Vous souhaitez en savoir plus sur les bonnes pratiques pour créer un questionnaire ? Vous pouvez consulter notre article sur le sujet.
|
Utiliser les statistiques pour définir objectivement le niveau d’une question
Celui qui rédige la question pourra faire une première affectation, il peut évaluer qu’une question est “plutôt difficile”, mais il lui est difficile de quantifier avec précision et objectivité cette difficulté : “est-ce un 4/5 ou un 5/5 ?”.
C’est pourquoi les outils statistiques permettent une affectation des niveaux des questions plus précise et plus exacte.
Le principe est le suivant (après qu'un nombre significatif d'utilisateurs, au moins une vingtaine et si possible de niveaux variés et représentatifs, ont répondu aux questions):
-
On divise la population en 4 quartiles, sur la base de leur score global, comme vu plus haut. Le quartile Q1 correspond aux utilisateurs ayant le meilleur score global, les experts; le quartile Q4 correspond aux utilisateurs ayant le moins bon score global, les débutants,
-
Pour chaque question, on dispose du taux de succès de chaque quartile sur la question. Normalement il est globalement croissant de Q4 à Q1,
-
Une question difficile, (ou plus exactement on devrait dire 'destinée aux experts') est une question qui a un taux de succès faible sur Q4, Q3, Q2, et sensiblement meilleur sur Q1,
-
Réciproquement, une question qui a un taux de succès élevé sur Q3, Q2, Q1, et sensiblement moins bon sur Q4 est une question dont on connaît la réponse lorsqu'on a atteint un certain niveau global d'expertise,
-
C'est donc une distinction importante: plutôt que d'étudier le taux de succès global, il est préférable d'étudier les taux de succès par quartile en analysant à quel seuil il s'élève,
-
Il faut viser une bonne répartition des niveaux, et la meilleure manière de définir les niveaux avec pertinence est de se baser non pas sur le jugement du rédacteur, mais sur les statistiques de passage.
À noter également que si une question est telle que le score obtenu par les utilisateurs de Q1 (les plus experts) est inférieur au score obtenu par les utilisateurs de Q4, alors cette question est probablement erronée, ou au minimum ambiguë. Dans tous les cas, elle dégrade la qualité de votre base.
Le LMS/LAS ExperQuiz vous accompagne
La plateforme LMS/LAS ExperQuiz propose une fonctionnalité qui permet de redéfinir facilement le niveau de difficulté des questions d’une base. L’objectif est de permettre aux formateurs d’accroître simplement la qualité et la fiabilité de leurs questionnaires.
L’outil ExperQuiz, grâce à un algorithme intelligent, se base sur les taux de succès observés pour proposer et effectuer des ajustements : les 20% de questions ayant le taux de succès le plus élevé se verront attribuer un niveau de difficulté 1 (facile), les 20% suivants un niveau 2, et ainsi de suite jusqu'au niveau 5.
Une fois les niveaux définis de manière fiable, vous pourrez définir des questionnaires dynamiques qui sélectionnent des questions de manière à viser un certain niveau de difficulté. C’est le moyen d’accompagner la progression des apprenants, et d’optimiser la courbe d’apprentissage.
La plateforme ExperQuiz propose aussi une solution qui permet d’analyser et contrôler la qualité et la fiabilité des questions pour pouvoir ensuite les améliorer.
|