Comments on Harmonisation de notes : variations sur un thème

A noter: en ce qui me concerne la moyenne idéale est de 12/20, avec un intervalle de confiance à 95% qui va de 8 à 16.

Malheureusement, cela s'applique dans le cadre d'un groupe qui fait de son mieux pour travailler pendant le semestre, au moins de façon honnête.

C'est intéressant, et c'est certainement possible dans ta matière, mais au final l'évaluation porte essentiellement sur la réponse aux questions du test.

De fait, ces tests pourraient être plus ou moins difficiles selon les années. As tu exploré les variation entre promos d'étudiants? Comment distinguer une variation en compétence d'une variation de la difficulté du test?

De mon côté, je vois bien l'écueil (parce que la difficulté de mes propres examents varie beaucoup d'une année à l'autre, selon l'inspiration du moment). Je dis souvent à mes étudiants qu'il faut qu'ils s'attendent à des questions très difficiles de ma part (les points de l'examen sont répartis entre enseignants, organisés à leur soin en parties/questions indépendantes), suivies d'une évaluation généreuse chez moi (incluant éventuellement des points bonus pour les remarques particulièrement pertinentes même hors sujet). A l'inverse, les collègues ont tendance à créer des sujets classiques, suivis d'une évaluation sévère. Les étudiants ont tendance à annoncer qu'ils préfèrent cette dernière façon de procéder (probablement parce qu'ils ont peur d'être titillés sur des questions difficiles, et peur de la difficulté). Mais dans les faits, mes notes sont globalement bien plus généreuses malgré la difficulté des questions.

Il est également arrivé une fois que j'ajoute 4 points à une copie pour une remarque particulièrement brillante sur un point qui m'avait échappé alors que je baigne dans le sujet depuis une vingtaine d'années. Il s'agissait d'une copie particulièrement mauvaise où il n'y avait presqu'aucun point à sauver. Elle valait 4/20 sans le bonus, mais l'étudiant a bien reçu 8/20. Quand je relate cette histoire aux étudiants, ils bougonnent également, je me sens obligé de leur dire que ça peut arriver à une bonne copie aussi, il s'agit d'un exemple réel, on ne choisit pas. Au demeurant, un 8 fait entrer l'évaluation dans le domaine du "compensable", ce qui revient à laisser le choix à l'étudiant de repasser ou non une session de rattrapage en fin d'année, et pour moi c'était complètement justifié pour cet étudiant anonyme.

<em> La manière exacte dont est faite cette répartition m'échappe, et il faut dire que c'est le genre de choses qui, en pratique, est un peu pénible, si on a une pile de ~200 copies (physiques) et un tableau de noms, pour faire une répartition en 6 groupes aléatoires et produire à la fois les six tas physiques et le tableau avec la répartition des noms. Si vous avez des astuces à proposer pour y arriver efficacement que je puisse expliquer sans mal au service de l'enseignement, n'hésitez pas à proposer.</em>

La solution la plus simple et la plus proche de l'objectif est à mon avis de trier d'abord les copies par ordre alphabétique physiquement, puis d'effectuer un tirage aléatoire standard de 1 à 6 sur le fichier des noms (trié préalablement par ordre alphabétique aussi) et s'en servir pour répartir les copies en différents tas. S'il y a des erreurs (humaines) à la distribution en tas, il suffit de reconter et d'équilibrer le nombre en déplaçant les copies des tas surnuméraires vers les tas subnuméraires. Normalement, ce protocole est réalisable sans peine pour notre génération. On peut demander au correcteur de faire remonter a posteriori une liste des noms pour compenser la perte d'information sur l'erreur de distribution des tas.

Je suis également confronté au problème de l'harmonisation des notes (j'enseigne en prépa intégrée d'école d'ingénieur) pour des paquets de 200 copies, et pour ma part, ce que j'ai trouvé de mieux pour le moment, c'est l'harmonisation a priori :

Je prends au semi-hasard 5 copies (en en choisissant au moins une bien remplie, une presque vide, et une moyenne en terme de quantité), et je les donne à corriger à tous les correcteurs (en général, on est 2 ou 3, mais on a déjà fait ça sans trop de problème à cinq). Pour ces copies-là en particulier, on vérifie, question par question, qu'on a mis les mêmes nombres de points, et à chaque fois que ce n'est pas le cas, on confronte nos interprétations et on définit une règle commune pour ce genre de cas.

Deux intérêts à faire de la sorte :

1) Pour la correction du gros du paquet, les correcteurs n'ont pas besoin de détailler sur un fichier les points attribués pour chaque question, seule la note totale de chaque copie m'intéresse.
2) Il y a un gain de temps non négligeable dans le tri des copies : pas besoin de les répartir aléatoirement, on peut garder les copies d'un même groupe ensemble*, et lorsque les étudiants veulent les consulter, il suffit de connaître leur numéro de groupe pour savoir qui a la copie.
*Cela a un intérêt pour le suivi pédagogique : si un correcteur corrige le groupe i et qu'il nous dit qu'il a fréquemment trouvé une erreur qu'on trouve beaucoup moins dans d'autres groupes, ça permet d'investiguer pour comprendre le fond du problème et y remédier l'année suivante.

De plus, ça ne sur-corrige pas les écarts dans le cas où, par hasard, la répartition des copies entre les correcteurs aboutit a donner à des correcteurs différents des paquets ayant des qualités de copies réparties différemment.

Pour tes cases fictives moches: "Hide column(s) / row(s)", je ne vois vraiment pas le souci.

> Je crois que le langage merdique des formules LibreOffice (enfin, je suppose qu'il est copié sur celui d'Excel)

Je n'ai que survolé le texte en lien, mais il laisse entendre que LET existe dans Excel (qui sur ce point serait donc moins merdique que LibreOffice) ?

J'ai l'impression que complexifier les choses ne t'apportera rien en terme d'équité des notes : plus tu attires l'attention des correcteurs sur le système d'harmonisation, plus ils vont avoir ses effets en tête, et ça va affecter d'une façon pas forcément positive leurs notes (par exemple, si l'effet de ton harmonisation en 0 est très fort tous les 0 vont devenir des 0,1 (ou réciproquement) si la personne qui corrige n'a pas confiance en son propre jugement.

Sinon, pour ce qui est des cases fictives dans ton tableau, je te ferais remarquer que les cases dans un tableur ne sont pas franchement une ressource limitée donc je ne vois pas le problème que ça te pose d'en créer plein.