Les bonnes pratiques pour créer un questionnaire

Les bonnes pratiques pour l’élaboration de questions

Bonnes pratiques générales pour créer un questionnaire

• L'ensemble des questions couvrent le domaine de façon homogène,

• Chaque question mesure une seule connaissance importante,

• Pas de pièges ou de questions trop complexes ou de réponses qui diffèrent d'un infime détail,

• Une question binaire est une question qui contient 2 propositions : une correcte, une incorrecte. Limiter les questions binaires qui laissent une place trop forte au hasard (50 %) et donc apportent moins d'information pour le même temps consommé,

• Viser idéalement 4 ou 5 propositions de réponse pour chaque question,

• C'est la nature de la question qui décide du type choisi. Il est bon de varier les types de question, mais il est inutile de torturer la connaissance pour chercher à tout prix une question pour un type donné,

• Ne pas hésiter à créer des variantes d'une même question, surtout dans le cas où les tests sont créés par sélection aléatoire dans une base de questions, cela apporte de la diversité avec un moindre effort de rédaction,

• Prévoir au minimum 20 questions par test, plutôt 30 si possible, idéalement une quarantaine.

Conseil : lors de la création d'un questionnaire, une façon de remédier aux questions binaires est de rassembler deux questions binaires sur le même thème pour en faire une question à choix multiple à 4 propositions (2 vraies et 2 fausses).

Vous pouvez également vous aider de l'IA pour créer vos questionnaires en quelques clics à partir d'une thématique ou de vos propre document ! En savoir plus sur les fonctionnalités d'IA dans ExperQuiz !

Conseils pour rédiger l’énoncé de la question

• Préférer une forme interrogative à une forme affirmative dans le cas d’une question binaire à choix unique pour ne pas écrire une assertion fausse,

• Vocabulaire simple et précis,

• Pas trop long sauf dans le cas de textes à trous,

• Éviter les doubles négations (ex il n'est pas impossible …),

• Ne pas hésiter à insérer des illustrations même si elles ne sont que décoratives, elles rendront l'énoncé plus agréable (bibliothèque d'images gratuites).

Comment rédiger les réponses et distracteurs du questionnaire

• Réponses proposées cohérentes entre elles,

• Même type de formulation (groupes nominaux, phrases),

• Même niveau de détails (souvent les réponses correctes sont plus précises),

• Cibler si possible les erreurs ou confusions les plus communes,

• Les questions binaires sont utiles pour l'apprentissage pour mettre en valeur une connaissance essentielle, une assertion (ex un feuillage caduc est un feuillage : qui tombe / qui ne tombe pas). Comme indiqué plus haut, elles sont peu discriminantes, et doivent donc être utilisées avec modération.

• Vrai / Faux : par défaut, les réponses "vrai" et "faux" sont pré remplies mais elles peuvent être modifiées (jamais/toujours ou bien 2 propositions),

• Texte (mot(s) libre à rédiger par l'apprenant pour répondre à la question): plusieurs propositions peuvent être acceptées en les séparant par une virgule. La première des propositions sera présentée comme la bonne réponse. Il n'est pas nécessaire de proposer les variantes avec majuscules. Les propositions doivent être courtes et sans ambiguïté. Éviter de demander plusieurs mots. Cela s'applique aussi au texte à trous,

• Numérique (nombre(s) libre(s) à renseigner par l'apprenant) : en fonction des cas, il faut soit renseigner la valeur exacte, ou bien les intervalles de valeurs peuvent être acceptées,

• Correspondance : présenter de préférence les images dans la colonne de gauche pour faciliter le glisser déposer (idéalement au moins 4 propositions),

• Liste déroulante : permet de faire un texte à trous avec des propositions prédéfinies donc de limiter les choix,

• Question libre : permet de compléter un questionnaire en réduisant l'aléatoire mais demande une correction manuelle.

Bonnes pratiques pour écrire les explications

• L'explication peut détailler pourquoi telle réponse est bonne, et telle autre est mauvaise. Elle est lue dans le contexte de la question et peut faire référence à la question,

• Ne pas parler de l'ordre de la réponse dans l'explication (par exemple : la réponse 2 est incorrecte car ...) puisque les réponses peuvent être mélangées dans le test.

Conseils concernant les règles ou rappels de cours

• La règle ou mémo doit pouvoir être lue et comprise sans avoir la question sous les yeux.

• Privilégier les médias de type fiches qui permettent de mutualiser les mémos et facilitent la maintenance (correction sur la fiche et non pas dans chaque question),

• Même remarque que pour l'explication: ne pas parler de l'énoncé ou des réponses puisque la question ne sera plus affichée quand la règle sera présentée dans l'espace personnalisé de révisions.

Bonnes pratiques pour les domaines et tags

Si possible déterminer une liste de critères qui permettent de catégoriser les questions : les tags et les domaines permettent de raffiner l'interprétation du score d'un test.

Comment choisir les questions pour créer un questionnaire performant

La sélection des questions d'un questionnaire dépend de sa finalité.

Si le questionnaire est un questionnaire d'auto-formation, la sélection des questions peut s'effectuer de manière aléatoire en s'adaptant à l'historique de l'utilisateur. Il est conseillé de multiplier les questions abordant la même notion essentielle en essayant de proposer différents types de questions ce qui permettra de mieux valider la notion.

Si le questionnaire est un questionnaire d'évaluation certificative, on veillera à :

• Définir au préalable les quelques objectifs de l'évaluation,

• Choisir des questions qui correspondent à l'objectif (pas de questions expertes si on vise un niveau débutant),

• Choisir des questions sans pièges :il ne faut pas donner le sentiment qu'il peut y avoir des pièges,

• Retrouver le même canevas de questions pour permettre à l'apprenant de ne pas s’attarder sur le procédé de la question, mais bien sur la connaissance sous-jacente. Il faut savoir toutefois que les différents types de question ne sont pas également discriminants: par exemple, les questions qui intègrent de la saisie apportent plus d’information que des questions binaires,

• Respecter la proportion de questions sur les objectifs au prorata bien entendu de la couverture disponible,

• Éventuellement, terminer par quelques questions à réponse libre, et correction manuelle, qui complètent bien l'évaluation automatique.

Si l'on dispose d'un référentiel de compétences par exemple, il est très utile de disposer d'un inventaire des questions qui valident telle ou telle compétence ou capacité. Ce point est en cohérence avec la bonne pratique générale qui consiste à dire : chaque question mesure une seule connaissance importante.

On notera que cet inventaire est facile à établir si les questions sont structurées en utilisant les domaines ou les tags de la plateforme.

Le nombre de questions à intégrer au questionnaire détermine la fiabilité d’un test ou d’une évaluation et dépend d’un certain nombre de critères. Pour en savoir plus sur le nombre de questions nécessaires pour créer un questionnaire, lisez notre article sur le sujet.

Tester et valider le questionnaire

Après avoir créé le questionnaire, il faut faire une validation par plusieurs experts car certains peuvent proposer des questions trop techniques, d'autres trop simples.

Un point essentiel dans le déploiement d’évaluations est la calibration, c'est-à-dire la détermination du score à atteindre, du score satisfaisant. C’est un exercice qui est souvent oublié. Il ne faut pas établir le seuil de succès de manière relative (« les 30 % de scores les moins bons échouent »), le test ne doit pas être tel qu'il implique systématiquement une proportion de collaborateurs en échec.

Ayant rédigé 40 questions sur une certaine thématique, personne ne peut affirmer avec précision que le niveau attendu est de 80% de bonnes réponses. Le seuil de réussite est fixé a priori et non a posteriori. On peut bien sûr affirmer arbitrairement cet objectif, mais on pourrait s’apercevoir ensuite que des collaborateurs tout à fait compétents n’ont pas le score requis.

En bref, il faut impérativement procéder à la calibration du test. Il suffit (et il faut) pour cela de le faire passer par 5 collaborateurs dont le niveau est réputé satisfaisant.

En revanche, il est courant que l’on se focalise trop sur le taux de succès des questions. Il est bon qu’une évaluation comporte une part de questions faciles (dont le taux de succès est supérieur à 80%) et une part de questions difficiles (succès inférieur à 20%).

Il faut donc avant une certification procéder à une validation du test sur une population de référence pour :

• Permettre de nouveau les feedbacks qui ne sont pas systématiques comme pendant la phase d'écriture mais qui doivent permettre de contrôler l'exactitude et la rédaction des questions dans un contexte de certification.

• Obtenir les premières statistiques qui permettent de mieux sélectionner les questions

• Calibrer le niveau minimal exigé pour le test.

Les conditions de passage du questionnaire

Inclure une phase d'entrainement

Lors de la création d'un questionnaire, il est important de s'interroger sur les conditions de passage : par exemple, l’intégration d’une phase d’entraînement est-elle pertinente ?

Oui, c’est l’une de nos recommandations, autant à titre d’outil d’apprentissage, qu'à des fins de sécurisation des collaborateurs. À l'issue de la phase d’entraînement, le collaborateur doit pouvoir se dire “je sais maintenant que j’ai le niveau attendu, je suis prêt pour passer la certification”.

Les spécificités de la certification

Les conditions de passage ont leur importance car certaines ont des répercussions sur les résultats :

• Pour une certification, on peut choisir le mode 'page unique', dans lequel l'utilisateur a la vision de l'ensemble des questions, et peut y répondre dans l'ordre qui lui convient et peut revenir sur une précédente réponse, jusqu'à la validation finale,

• Ordre aléatoire pour la présentation des questions et réponses,

• Pas de pondération (scores différenciés par question) sauf si le type de question est statistiquement plus facile (exemple : question binaire qui a 50 % de succès pour un choix aléatoire mais nous avons vu que ce type de questions devait être restreint),

• Notation partielle (100% 50%) si les questions proposent des QCM avec un nombre de réponses correctes supérieure à 2,

• Contrôle du temps pour l'ensemble du test plutôt qu'un chronomètre par question,

• Des conséquences qui valident certaines capacités ou qui invitent à enchaîner avec une autre évaluation si les résultats sont insuffisants ou incomplets.

Pour créer un questionnaire de qualité, il est essentiel de déterminer également le niveau de difficulté de chaque question. Pour en savoir plus sur le niveau des questions, vous pouvez consulter notre article sur le sujet.

Créer des questions facilement grâce à l'IA

Créer une large base de questions peut être une opération chronophage et fastidieuse. Pour aider les formateurs à utiliser toute la puissance de l'évaluation, ExperQuiz propose une fonctionnalité innovante qui s'appuie sur l'intelligence artificielle pour générer des questions automatiquement en fonction du sujet choisi ou d'un corpus documentaire.

Après avoir sélectionné une thématique ou importer vos documents, l'IA va générer une série de questions ainsi que les réponses justes et les distracteurs (les fausses). Le formateur pourra ensuite choisir celles qui lui semblent adaptées pour les intégrer, en un clic, à une base de questions.

Par ici pour en savoir + sur cette innovation signée ExperQuiz !