Aaah les quiz ! Quand il est question de formation à distance, ils sont partout… mais pas toujours très bien calibrés ! Et quoi de plus désagréable, en tant qu’apprenant, qu’avoir à répondre à des questions trop faciles, trop difficiles ou hors sujet ? C’est pour éviter ces trois écueils, également dommageables pour l’apprentissage, que nous complétons ici notre réflexion et nous répondons à la question que tout le monde se poser : “Comment concevoir un quiz efficace ?”.
Dans la première partie de cet article, nous avons fait la distinction entre QCM, QCU et question ouverte, et décidé de nous intéresser uniquement aux 2 premiers : dans ce qui suit, le mot quiz se référera donc au QCM ou au QCU. Nous avons précisé de quoi se compose un quiz et fait la liste des cas dans lesquels nous pouvions en utiliser un.
Il ne nous reste plus qu’à savoir comment le rédiger… et cela mérite qu’on s’y penche sérieusement.
Concevoir un quiz efficace : L’alignement pédagogique avant tout
Rappelons tout d’abord qu’un quiz, quelle que soit la place qu’il occupe dans le dispositif d’e-learning, doit respecter les principes de l’alignement pédagogique (constructive alignment) tels que les a définis en 2011 J. B. Biggs, un psychologue de l’éducation australien (Biggs, J. B. and Tang, C. (2011). Teaching for quality learning at university. Open University Press/Mc Graw-Hill Education). Pour lui, les objectifs d’une formation, la stratégie et les activités mises en œuvre pour les atteindre ainsi que l’évaluation permettant de vérifier qu’ils l’ont été doivent être alignés, c’est-à-dire cohérents.
Prenons un exemple : si je veux que mes apprenants soient capables de déplacer correctement les pièces sur un échiquier, je vais leur expliquer d’une manière ou d’une autre (ou leur faire trouver) comment elles se déplacent et les entraîner à les déplacer. L’évaluation consistera à effectuer correctement les déplacements des différentes pièces.
Présenté ainsi, ça a l’air complètement logique, mais il est fréquent de perdre ce grand principe de vue lorsqu’on conçoit un dispositif d’apprentissage. En effet, chemin faisant, j’ai pu être tenté d’expliquer d’autres règles des échecs, de montrer comment commence ou s’achève une partie, ou d’initier mes apprenants à la stratégie du jeu… et je peux finir par leur demander de jouer les 3 premiers coups d’une partie, ou de mettre en échec le roi adverse, etc. Or, tous ces éléments ne sont pas complètement cohérents avec mon objectif initial : apprendre comment chaque pièce se déplace sur un échiquier.
L’alignement pédagogique est donc un garde-fou permettant de tenir à distance tout ce qui ne permet pas directement d’atteindre les objectifs fixés.
Concevoir un quiz efficace : la difficulté, une dimension-clé
Là aussi, quels que soient l’objectif et la place du quiz, sa difficulté doit être ajustée pour correspondre au mieux au niveau des apprenants. Trop difficile, il pourrait les décourager ou les déstabiliser. Trop facile, il pourrait les agacer ou les inciter à laisser tomber le module d’e-learning… Il est déjà difficile de capter leur attention à distance et de les faire adhérer à une formation en e-learning, alors si en plus on leur donne l’impression d’être pris pour des jambons, on ne met clairement pas toutes les chances de notre côté ! Et même s’il a vocation à diagnostiquer le niveau de connaissance des apprenants au début d’un dispositif d’apprentissage, le quiz doit permettre à tous de s’y retrouver.
Comment ajuster au mieux la difficulté ? Ce n’est pas forcément très aisé… notamment parce que comme toute tâche d’ingénierie pédagogique, concevoir un quiz demande au concepteur lui-même de retrouver l’état dans lequel il était avant de savoir ce qu’il doit transmettre. Quelles questions seraient pertinentes ? Une des solutions consiste à faire des tests auprès du public cible. Cela peut être facile à mettre en place et à répéter, et peut donc porter rapidement ses fruits. On n’hésitera donc pas à mettre à contribution tout un tas de cobayes afin d’ajuster au mieux les questions en fonction de ce qu’on veut obtenir.
Cependant, avant de tester, encore faut-il avoir mis au point un questionnaire qui tienne la route. Et c’est là que réside ce qu’on pourrait appeler l’art du quiz.
Le leurre est grave
Rappelons qu’on appelle leurres les réponses aux questions posées par le quiz qui pourraient être justes mais ne le sont pas. L’art de “concevoir un quiz efficace” réside dans la rédaction des leurres. En effet, c’est en mettant l’apprenant face à des réponses justes en même temps qu’à des leurres plausibles qu’on pourra véritablement mesurer les connaissances ou compétences acquises.
Les deux règles de base suivantes, que nous empruntons à l’université de Genève, permettent de guider la rédaction de toutes les réponses possibles. Face à une question qui lui est posée :
1. Un apprenant qui connaît la bonne réponse ne devrait pas être empêché de répondre en raison d’éléments d’ordre langagier ou logique.
2. Un apprenant qui ne connaît pas la bonne réponse ne devrait pas pouvoir la déduire de l’ensemble question/réponses qui lui est soumis.
Il faut donc que la question et les réponses proposées soient claires, précises et sans équivoque. La rédaction (orthographe, grammaire, conjugaison et syntaxe) doit ainsi être irréprochable. Par ailleurs, on évitera dans les questions les énoncés négatifs (*Quelles solutions ne doit-on pas privilégier pour chauffer une maison individuelle ? *Quelles précautions vaut-il mieux ne pas éviter si l’on veut que la manipulation soit sécurisée ?).
Les solutions proposées doivent quant à elles répondre à quelques exigences :
– être formulées de manière irréprochable
– être affichées dans un ordre neutre (alphabétique, numérique, chronologique)
– être de longueurs équivalentes
– tous les leurres doivent être plausibles (mais constituer des réponses strictement fausses). S’amuser à introduire des leurres farfelus ou comiques n’est pas efficace pour la mesure des connaissances que constitue le quiz… À la limite, si vous proposez 4 réponses possibles, vous pouvez en ajouter une 5e qui serait une blague. En tout cas, 3 réponses possibles dont une bonne, une fausse mais plausible et une improbable n’est pas suffisant pour vérifier que vos apprenants ont compris ! C’est la dure loi des probabilités…
Pour réduire le facteur chance, selon les cas, on peut augmenter le nombre de leurres, ou le nombre de réponses correctes, laisser la possibilité à l’apprenant de dire qu’il ne sait pas ou encore, comme dans certaines épreuves du concours de médecine, pénaliser les réponses incorrectes.
D’autres dimensions peuvent entrer en ligne de compte lorsqu’on conçoit un quiz. Elles ont trait à la stratégie pédagogique que l’on met en place : le quiz sera-t-il facultatif dans le parcours d’apprentissage ? Plusieurs tentatives seront-elles laissées à l’apprenant en cas d’échec ? Le quiz devra-t-il être fait en temps limité par l’apprenant ? Que se passe-t-il lorsque l’apprenant a répondu juste/faux ? Le quiz a-t-il valeur de validation du parcours voire de certification ? A-t-il accès à d’autres informations le cas échéant ? etc. De multiples variations sont possibles, tout dépend de ce à quoi on veut arriver !
Pour résumer, lorsqu’on conçoit un quiz, il faut :
– savoir dans quel but on le fait
– respecter le principe d’alignement pédagogique
– ajuster au mieux la difficulté
– évacuer le facteur chance pour que les réponses soient exploitables
– exploiter les réponses d’une manière ou d’une autre.
Comme disait (à peu près) Cicéron : “Le quiz est partout, mais seuls les formateurs les plus aguerris en maîtrisent l’art subtil”.
Ou bien c’était un prof du Bahut, je ne sais plus !
Le Mag' 