C6 - L’indice de difficulté subjective : un instrument de calibration combinant la qualité spectrale des tests standardisé avec la théorie des réponses aux items.

Olivier Prosperi, Jean-Luc Gilles & Jean-Guy Blais

La technique des degrés de certitude associée aux QCM permet de dépasser le caractère « binaire » de l’évaluation des performances des étudiants (la proposition choisie est soit correcte, soit incorrecte) à condition de veiller à respecter une série de règles méthodologiques que Shufford & al. (1966) appellent « admissible probability measurement procedures ». Depuis plus d’une décennie, Gilles (1998, 2002, 2010) propose une démarche novatrice qui consiste à exploiter les degrés de certitudes fournis par les étudiants pour livrer cette fois des informations spectrales sur la qualité des questions (différentes des informations sur la qualité des performances des étudiants). Ses travaux ont ainsi débouché sur l’élaboration d’une série d’indices originaux d’analyse de la qualité spectrale des épreuves. Grâce aux degrés de certitude, il est aussi possible de mesurer la difficulté des questions avec une approche fondamentalement nouvelle dans le panorama des indicateurs de difficulté : elle prend en compte la perception que les étudiants ont de la question (Prosperi, 2012). Avec les questions qui possèdent cette indication de la difficulté, il est possible de créer de nouveaux indices qui estiment, en plus de la difficulté en terme de taux de réussite, la façon dont le test sera perçu par les étudiants, sa difficulté subjective. Le nouvel indice spectral de difficulté développé par Prosperi fait aussi appel à la théorie des réponses aux items, et ce dans le but d’y intégrer la dimension des degrés de certitude. Le but n’est donc pas de remplacer ce qui fonctionne déjà, mais d’intégrer les degrés de certitude dans ce champ de la recherche en édumétrie en vue d’améliorer la calibration des tests.