Ce mercredi 20 décembre 2017, nous avons mis en service les fonctionnalités suivantes :
Statistiques et analyses qualité des questions
Sur la page des bases de questions, un nouvel onglet 'Qualité' est proposé. Il n'est visible qu'après avoir sélectionné l'option dans le menu Entreprise / Options.
Cet onglet offre un large spectre de statistiques permettant d'analyser et d'améliorer la qualité des questions.
En premier lieu, il convient de sélectionner un périmètre d'analyse, au moyen des deux filtres proposés :
-
Tous les groupes d'utilisateurs, ou bien un groupe en particulier
-
Une période par rapport à la date courante.
L'analyse prendra en compte tous les tests effectués par les utilisateurs de ce groupe (ou tous les utilisateurs), sur la période choisie.
Les indicateurs suivants sont restitués, chacun est accompagné d'une explication détaillée :
-
KR20, une mesure de la cohérence d'ensemble des questions de la base
-
Nombre de questions ayant été soumises dans le périmètre sélectionné
-
Nombre d'utilisateurs ayant passé un test ou plus dans le périmètre sélectionné
-
Moyenne globale des questions, pour les tests du périmètre
-
Questions ayant un taux de succès inférieur à 20 % ou supérieur à 80 %. Ce sont des questions moins discriminantes, il est recommandé d'en intégrer de l'ordre de 20 %.
-
Questions avec une faible corrélation, ou avec une corrélation négative. La corrélation est une mesure de l'alignement entre la question et le test dans son ensemble, dans quelle mesure les utilisateurs qui réussissent le test réussissent aussi cette question. Les questions qui ont une corrélation faible ou négative méritent d'être ré-examinées.
-
Questions avec un faible écart Q1 – Q4 : il s'agit de l'écart de note obtenu entre les utilisateurs du premier quartile (les 25% les meilleurs en global) et les utilisateurs du dernier quartile. Cet écart devrait, en général, être supérieur à 20 %. Cette mesure est assez semblable à celle de la corrélation.
Des graphes permettent aussi de visualiser :
-
La distribution des taux de succès des questions. Sur l'axe horizontal, toutes les questions sont rangées du taux de succès le plus faible (les plus difficiles) à gauche, jusqu'au taux de succès le plus grand (les plus faciles) à droite. Sur l'axe vertical, vous pouvez lire le taux de succès des questions.
-
La distribution des scores des participants. Sur l'axe horizontal, touts les participants (ayant passé des tests) sont rangés depuis le score le plus bas à gauche, jusqu'au score le plus élevé à droite. Sur l'axe vertical, vous pouvez lire le score obtenu par les utilisateurs (nombre de réponses correctes en % du total).
-
La distribution de la corrélation des questions. Sur l'axe horizontal, toutes les questions sont rangées du taux de succès le plus faible (les plus difficiles) à gauche, jusqu'au taux de succès le plus grand (les plus faciles) à droite. Sur l'axe vertical, vous pouvez lire le taux de succès des questions.
Enfin, la dernière partie de la page liste les questions qui sont à étudier, c'est à dire dont l'analyse a montré qu'elles pourraient avoir des faiblesses, essentiellement en terme de corrélation.
Résultats des formations et mesure de progression
Sur la page d'une formation, les résultats des évaluations et le bilan sont réunis sous un seul onglet "Résultats" qui présente une page avec 3 sous onglets :
-
'Evaluations" : On retrouve toutes les évaluations passées pendant la formation avec les résultats détaillés et l'export associé
-
'Bilan' : On retrouve le bilan pour chaque participant et l'export associé. Pour chaque participant sont présentés ses résultats aux tests libres et sa progression aux différentes questions posée
-
'Graphiques' : Un graphique illustre la progression des évaluations entre le début et la fin de la formation et l' export associé. Pour que cette progression puisse être mesurée, il faut bien sûr que certaines évaluations présentent plusieurs fois les mêmes questions.
L'onglet 'Satisfaction' présente également une moyenne des satisfactions recueillies auprès des participants pour chaque item.