Peut-être certaines notes sont-elles reportées sur une feuille Excel, de laquelle on essaiera de sortir une moyenne, mais dans l’ensemble ce sera énormément d’efforts pour très peu de résultats utiles. Et bien sûr, les enquêtes papier doivent être remplies en salle, dans les derniers instants de la formation, de sorte que (a) elles sont remplies dans la précipitation, (b) sous le regard du formateur, (c) ne peuvent s’appliquer aux formations en ligne, et (d) ne peuvent inclure des sollicitations à froid ou bien de managers.
Satisfaction à chaud
Il est bon de conduire la première enquête dans le contexte même de la formation, c'est-à-dire avant que chacun ne quitte la salle, qu’elle soit physique ou virtuelle. C’est le meilleur moyen d’avoir un taux de retour élevé, et d’en profiter pour s’assurer que chacun a compris comment ça marche, et saura répondre par la suite à une enquête à froid.
Et dans la mesure où le canal est direct entre le participant et la solution d’évaluation, on n’a pas trop à craindre la pression du formateur venant influencer les retours. Comme son nom l’indique, la satisfaction à chaud se mesure à chaud, elle ne requiert pas de délai de réflexion et au contraire, si l’enquête est menée le lendemain, beaucoup de petits détails pourraient avoir été oubliés déjà.
En opérant le retour à chaud le lendemain, on perdra 20 ou 30 points de taux de retour, et on perdra aussi en précision dans les retours.
Satisfaction à froid
Une enquête de satisfaction à froid se mène en général de l’ordre de 2 mois, et jusqu’à 3 mois, après la session. Au delà de la question du délai, c’est la finalité de l’enquête qui compte : si l’on mène une enquête à froid, c’est certes pour prendre du recul, mais plus précisément, le but est de mieux apprécier dans quelle mesure les acquis de la formation ont pu être utiles de manière opérationnelle dans l’exercice de son métier, et c’est pour cela qu’il faut un peu de temps. Comme on l’a vu, c’est le niveau 3 de Kirkpatrick.
Ainsi, indépendamment du délai, les questions posées dans une enquête à froid seront d’une nature très différente, plus globales, et moins nombreuses. Il pourra être utile de rappeler les objectifs de la formation, afin que le stagiaire s’interroge à nouveau sur leur atteinte.
Il sera essentiel de rappeler au stagiaire quels étaient les objectifs définis pour la formation, de manière à ce qu’il puisse estimer de manière précise si chacun des objectifs a été atteint.
Invitation à répondre à une enquête
Les participants doivent pouvoir être sollicités par email ou par SMS, voire éventuellement sur des canaux alternatifs tels que Teams ou Slack.
Ils doivent pouvoir répondre à l’enquête sur le terminal de leur choix, qui sera le plus souvent leur smartphone. Il est donc essentiel que l’application utilisée pour l’enquête soit de type “mobile first”, c'est-à-dire conçue en premier lieu pour un usage optimal sur smartphone.
Les stagiaires ne doivent évidemment pas avoir à se souvenir d’un identifiant ou bien d’un mot de passe qui leur aurait été communiqué en amont. Ce serait la manière la plus efficace de les rebuter. Un simple lien doit donner immédiatement accès au formulaire. Il n’est pas question non plus de leur demander de s’identifier ou bien d’indiquer à quelle formation ils ont participé : tout cela doit être implicite, c’est à dire que le lien de l’invitation doit être personnel et unique, et donc permettre au système de savoir à la fois qui est en train de répondre, et à quelle session se rapporte cette réponse.
Une majorité de questions doivent pouvoir être traitées d’un simple clic, sans saisie clavier. La promesse classique de “ne vous prendre que quelques minutes” doit impérativement être tenue.
Il est extrêmement important que l’email d’invitation puisse contextualiser très précisément la sollicitation : rappeler de quelle formation il s’agit, ses dates, le nom du stagiaire. La présence de ces informations indique immédiatement au destinataire qu’il ne s’agit pas d’une opération de mass-mailing, mais d’une sollicitation personnelle précise. Le taux de retour en sera sensiblement amélioré.
Les relances d'enquêtes de satisfaction
Nous recevons tous beaucoup d’emails, et il nous arrive bien sûr de ne pas les traiter avec diligence. L’invitation à répondre à une enquête est perçue comme optionnelle, et donc ne sera pas traitée en priorité. Elle peut arriver un jour particulièrement chargé et être enterrée au fond de la boîte mail, sans même que la personne n’ait décidé de ne pas y donner suite. Pour ces raisons, quelques relances sont utiles et seront bien acceptées.
L’idéal est de se donner environ deux jours entre deux sollicitations, et entre une et deux relances. Au-delà de deux relances, donc trois sollicitations au total, le taux de retour ne s’améliorera plus et l’exaspération pourrait commencer.
En synthèse donc : prévoir une à deux relances, espacées de deux jours.
Élaboration d’un formulaire d’enquête
En matière d’évaluation de formation, il y a des bonnes pratiques bien sûr, mais il n’y a pas de formulaire universel, qui conviendrait en l’état à tous les organismes et à tous les besoins.
Il est essentiel que votre dispositif d’évaluation vous donne une liberté totale dans l’élaboration de vos questionnaires : vous devez pouvoir librement ajouter des questions, en reformuler certaines, créer même des formulaires totalement nouveaux pour un nouveau cas de figure. Tout cela sans avoir à appeler un prestataire.
Non seulement un bon outil d’évaluation des formations doit vous donner cette liberté, mais il doit rendre cela extrêmement facile et intuitif : vous devez avoir la maîtrise complète de l’élaboration et de la modification des formulaires d’enquêtes. Et vous devez pouvoir disposer d’une petite bibliothèque de formulaires de manière à choisir celui qui sera approprié pour différents types de formations.
Typiquement, l’évaluation des formations en présentiel intégrera des questions portant sur des aspects de logistique qui ne seront pas pertinents pour des formations en visio. De même les enquêtes pourront être différentes selon qu’il s’agisse d’inter ou d’intra-entreprises. Néanmoins, lorsque l’on déploie des enquêtes différentes, il est important que les questions qui sont identiques dans les différentes variantes de formulaires soient bien réunies lors de l’exploitation des données.
La planification des invitations aux enquêtes de satisfaction de formation
Une fois que les formulaires d’enquête sont bien définis et testés, il convient de gérer leur planification, c'est-à-dire à quel moment ils seront envoyés.
Typiquement, on a des échéances :
-
À chaud : en général soit le dernier jour de la session (J), soit le lendemain (J+1)
-
À froid : le plus souvent deux mois après la formation (J+60) ou trois mois après (J+90).
Notez que pour les échéances à froid, vous pouvez envisager d’utiliser des multiples de 7 jours, de manière à tomber sur le même jour de la semaine, donc un jour ouvré. Ainsi deux mois pourra devenir 56 jours (8 semaines) ou 63 jours (9 semaines), et trois mois pourra être 91 jours (13 semaines).
Ici aussi, il est important que le dispositif d’évaluation vous donne toute liberté dans la planification de ces échéances. Pour les formations en distanciel, vous souhaiterez peut-être que l’évaluation à chaud soit le jour J, et pour les formations en présentiel, vous pourriez préférer J+1. Ces choix doivent être ouverts. Et l’heure exacte d’envoi fait partie des paramètres importants, dont le réglage est à votre convenance.
En même temps que l’on spécifie cette planification, on définit aussi les modalités de relance associées à ces invitations : nombre de relances, intervalle entre les relances.
|
Forme des questions
On limitera le message d’introduction, qu’il soit “Votre avis nous intéresse” ou bien "Aidez-nous à progresser”, … Pas plus d’une phrase, pas de baratin, la personne a déjà bien compris ce que l’on attendait d’elle. On lui fait la promesse que cela lui prendra très peu de temps, il faut la tenir.
Les listes déroulantes peuvent être utiles, mais il faut avoir à l’esprit qu’une liste déroulante nécessite jusqu’à trois gestes: ouverture, défilement, sélection. Elle présente l’inconvénient aussi de ne pas immédiatement présenter tous les choix disponibles. Donc, chaque fois qu’il est possible, il faut préférer les questions où tous les choix sont visibles et la sélection ne demande qu’une seule action, un seul clic.
Il est préférable que les questions soient construites sur un même modèle. Essayer de varier le modèle de questions n’est pas une bonne idée. Par exemple, une suite de questions portant sur différents aspects de la satisfaction devra utiliser les mêmes choix, présentés de la même manière. Ainsi la personne qui répond n’analyse plus la forme, elle peut très rapidement sélectionner les différentes réponses. Et visuellement, les réponses choisies forment un motif qui traduit une sorte de courbe de satisfaction.
Exemple:
L’échelle de notation
Pour un grand nombre de questions qui mesure une forme de satisfaction, il convient de choisir une échelle, et éventuellement des intitulés pour chaque niveau de notation.
En général, on choisit une échelle soit à 4 niveaux, soit à 5 niveaux. On peut dire que moins de 4 niveaux ne permettrait pas une mesure assez fine, et plus de 5 apporterait une finesse sans grand intérêt.
À 4 niveaux, les intitulés pourront être typiquement :
-
“pas satisfait du tout” ou bien “très peu satisfait”
-
“pas très satisfait” ou bien “plutôt pas satisfait”
-
“plutôt satisfait” ou bien “satisfait”
-
“très satisfait”
À 5 niveaux, les intitulés pourront être :
-
“pas satisfait du tout” / “très peu satisfait”
-
“pas très satisfait” ou bien “plutôt pas satisfait”
-
“moyennement satisfait” ou bien “sans opinion”
-
“plutôt satisfait”
-
“très satisfait”
Certains diraient qu’une échelle à 5 niveaux permet un note neutre et pourraient craindre que les stagiaires soient tentés par une note médiane, neutre. Ce n’est pas le cas, et par ailleurs ce n’est pas très important.
Une recommandation plus essentielle est : une fois que vous avez choisi vos niveaux de notation et leurs intitulés, ils devront s’appliquer à l’identique à presque toutes les questions. C’est très important, une fois que les répondants ont compris votre échelle de notation, ils ne doivent plus y réfléchir à nouveau, et doivent pouvoir cliquer sur toutes leurs réponses de manière immédiate.
Ne changez pas l’échelle, ne changez pas les intitulés.
Une autre règle simple, qu’il vaut mieux appliquer sans réfléchir : rangez les notes avec la moins bonne à gauche, jusqu’à la meilleure à droite. C’est tout simplement ce à quoi les gens sont habitués, et si vous les rangez différemment, vous prenez le risque de réponses erronées.
Combien de questions peut-on poser ?
Si l’on respecte les règles de simplification ci-dessus (énoncés courts, format toujours identique, réponse en un seul clic, …), alors il n’est pas interdit de poser davantage de questions, pour un retour plus complet et plus précis. Typiquement :
-
Pour une évaluation à chaud, jusqu’à 15 à 20 questions unitaires, plus verbatims optionnels,
-
Pour une évaluation à froid, 5 à 10 questions, plus verbatims optionnels,
-
Pour une évaluation auprès des managers : pas plus de 5 questions.
|