David Madore's WebLog: Épreuve théorique de code de la route : suite et fin

Index of all entries / Index de toutes les entréesXML (RSS 1.0) • Recent comments / Commentaires récents

Entry #2454 [older|newer] / Entrée #2454 [précédente|suivante]:

(vendredi)

Épreuve théorique de code de la route : suite et fin

J'avais raconté il y a presque un an que j'avais entrepris de passer le permis de conduire — à commencer par l'épreuve théorique générale (a.k.a., « code »). J'ai passée cette épreuve seulement mardi (spoiler : avec succès) : j'avais choisi pour m'inscrire une période où j'avais le temps de m'en occuper, mais mon dossier a été administrativement bloqué pendant si longtemps que cette période faste s'était finie quand les problèmes ont été résolus, et ce n'est donc tout récemment que j'ai pu m'y remettre, d'où énormément de temps perdu. (Ce n'était pas que passer l'épreuve de code elle-même soit long ou compliqué, mais c'est inutile et sans doute une mauvaise idée de le faire avant d'avoir le temps de pouvoir commencer à prendre des leçons de conduite.)

Entre temps, j'ai pu apprendre un certain nombre de bizarreries du code de la route français (j'en ai signalé ici au passage et ici). J'ai aussi pu expérimenter avec plusieurs jeux de question d'entraînement.

Pour le contexte, je rappelle les modalités de l'épreuve : 40 questions à choix multiples, accompagnées d'images fixes ou, pour 4 questions parmi les 40, d'une courte vidéo ; la réponse est un sous-ensemble de {A,B,C,D} qui n'est ni l'ensemble vide ni l'ensemble de tous les choix listés ; on dispose pour répondre de 20 secondes par question, et il faut obtenir au moins 35/40 pour valider.

Mon auto-école proposait des tests d'entraînement sur place avec des questions Codes Rousseau, j'ai aussi acheté un des livres de cet éditeur qui me donnaît accès à un site Web de test (très mal fait, en Flash, et pas mis à jour des dernières réformes), mais l'auto-école me fournissait par ailleurs un accès à un site appelé Prép@code qui avait déjà il y a un an une vieille version (appelons-la v0 dans la suite) et une nouvelle (disons v1), et depuis qui en a créé une troisième (v2). La moralité, c'est que tous ces systèmes d'entraînement sont assez mauvais. Je ne veux pas juste dire que les questions sont mauvaises — j'avais donné quelques exemples tirés du Prép@code v1 l'an dernier — mais aussi qu'ils ne sont pas non plus très représentatifs des questions du vrai examen. Pour preuve, ils sont assez mal corrélés les uns avec les autres : j'ai commencé à me préparer sur Prép@code v1, il ne m'a pas fallu longtemps pour dépasser régulièrement 35/40, puis quand j'ai été confronté aux questions des Codes Rousseau, je les ai trouvées beaucoup plus dures ; puis la version v2 de Prép@code est sortie, mon score a chuté de façon vertigineuse, parce qu'ils avaient remplacé plein de questions auxquelles je commençais à être habitué (Prép@code v1, par exemple, était bourré de questions sur les catégories de sièges pour petits enfants) par d'autres questions encore plus mal rédigées, byzantines et parfois contradictoires. (Il y avait d'ailleurs des questions tellement bizarres que ça ne peut être qu'une erreur technique : par exemple quand le petit texte censé expliquer la réponse dit exactement le contraire de ce que le système accepte comme réponse correcte, ou quand ils échangent une image censée illustrer la question avec celle censée illustrer la réponse. Je pense qu'ils ont voulu sortir leur site v2 tellement à la hâte qu'ils l'ont bâclé. Ceci dit, pour ce qui est de la forme, l'interface des versions v1 et v2 était plutôt bien faite.)

Ce n'est pas tellement la faute des éditeurs de questions d'entraînement. Le problème vient de l'opacité de l'examen, que j'ai dénoncée et que je continue à dénoncer : au lieu d'avoir une banque de questions vraiment importantes (disons de l'ordre de 30 000 questions), et qui pourrait donc être complètement publique, sur laquelle tout le monde pourrait s'entraîner (et qui pourraient faire l'objet de retours publics), il n'y a qu'un nombre relativement restreint de questions possibles à l'examen officiel (1000, peut-être même moins si certaines ont été écartées), donc elles doivent être secrètes, et je suppose que les éditeurs de sites de préparation travaillent sur la base de fuites ou de leur propre intuition. (Ceci pose aussi la question de l'avantage qu'obtient l'éditeur qui a remporté le marché — je vais dire plus bas qui c'est — car même s'il n'a pas le droit d'utiliser telles quelles les questions officielles dans ses préparations, et même s'il n'a pas le droit de faire de publicité autour de ce fait, il dispose d'un savoir-faire qui le met en position préférentielle.)

S'agissant des questions du vrai examen, j'ai eu quelques éléments de réponse sur leur origine, qui me semblait bien mystérieuse. La banque de questions a été intégralement refaite en mai 2016 (la banque précédente, datant de 2009, comportait autour de 600 question, je crois, la nouvelle en compte 1000), en même temps que les modalités de l'épreuve ont été remaniées comme je vais le dire plus bas. Ce n'est pas l'Administration qui a produit ces questions, c'est bien un éditeur privé, la société EDISER, en réponse à une offre de marché passé en 2015 par la Délégation à la Sécurité et à la Circulation Routières du Ministère de l'Intérieur ; et c'est cet unique éditeur qui a fourni l'intégralité des 1000 questions utilisées à l'examen. (Contrairement à ce que m'avait prétendu mon auto-école en m'affirmant que les questions de l'examen étaient un mélange de questions fournies par plusieurs éditeurs : ça eut peut-être été vrai, mais ça ne l'est plus. Bon, techniquement, j'ai eu la confirmation qu'EDISER avait fourni 1000 questions et que l'examen comporte 1000 questions, il est logiquement possible que ces ensembles ne coïncident pas, mais je crois quand même que c'est une hypothèse raisonnable.)

Grâce à l'aide d'un ami calé en droit administratif (qui préfère ne pas être nommé, mais que je remercie de nouveau au passage) j'ai fait une demande d'accès aux documents administratifs pour avoir les pièces de ce marché. (Faute de réponse à ma demande initiale, j'ai dû saisir la CADA pour obtenir une réponse ; j'ai eu ensuite au téléphone quelqu'un du ministère, qui semblait tout à fait surpris de ma démarche, et qui m'a expliqué que ce n'était pas de la mauvaise volonté mais qu'ils étaient débordés — ce que je suis tout à fait prêt à croire.) C'est de cette manière que j'ai entendu le nom d'EDISER. Eux-mêmes n'ont pas le droit (c'est dans les termes du marché) de faire de la publicité autour du fait qu'ils ont produit les questions du vrai examen, mais je ne vois pas ce qui m'interdirait de faire cette pub pour eux.

J'ai aussi appris que les questions ont coûté à l'Administration la somme de 42k€ (vous penserez ce que vous voudrez de ce prix unitaire de 42€/question), et que la seule réponse à l'offre de marché autre que celle d'EDISER venait des Codes Rousseau (les règles d'accès aux documents de marchés publics font que je n'ai pas de précision sur l'offre des Codes Rousseau à part le fait qu'elle n'a pas été retenue).

Voici d'ailleurs un extrait de l'évaluation faite par l'Administration de la qualité des questions fournies par EDISER : Les situations présentées sont claires. L'effort pour présenter des situations faisant appel à une appréciation des risques plutôt qu'à la seule connaissance du code de la route est à souligner. Elles requièrent du candidat une analyse de la situation et une identification du danger potentiel le plaçant déjà dans la position d'un conducteur responsable.

En revanche, je n'ai pas vraiment eu de réponse claire sur ce qui tenait lieu de programme d'interrogation. Les questions sont réparties en neuf ou dix familles (1. dispositions légales en matière de circulation routière [L : 100 questions], 2. le conducteur [C : 250], 3. la route [R : 100], 4. les autres usagers de la route [U : 125], 5. réglementation générale et divers [D], et premiers secours [A] [D+A : 100 questions], 6. précautions nécessaires à prendre en quittant le véhicule [P : 75], 7. éléments mécaniques et autres équipements liés à la sécurité, savoir détecter les dysfonctionnements les plus courants [M : 100], 8. équipements de sécurité des véhicules [S : 75], et 9. règles d'utilisation du véhicule en relation avec le respect de l'environnement [E : 75]) ; dans ce cahier des charges, les questions sur les secours en cas d'accident sont rangés avec les questions diverses (dans la famille nº5), mais d'autres documents utilisent une typologie où c'est séparé (D et A respectivement), je ne sais pas la raison de cette bizarrerie. Le cahier des charges donne quelques sujets et sous-sujets d'interrogation pour chacune de ces familles, mais ça ne va pas beaucoup plus loin que ¼ à 1 page d'attendus pour chacune. (Toutes ne sont pas d'ailleurs également détaillées : les familles 1 à 3 sont précisées assez en détails, alors que la famille 9 a juste trois sous-sujets : éco-mobilité, réglementation concernant le bruit et la pollution et conduite économique et écologique (les principes — les effets sur la sécurité routière, la consommation de carburant, le rejet des gaz à effet de serre, l'usure des éléments mécaniques du véhicule)..) Je pense qu'il y a eu des réunions de travail entre la Sécurité routière et les éditeurs candidatant au marché, dont je n'ai, évidemment, pas de précisions quant au contenu. Je ne sais toujours pas, par exemple, qui a inventé les chiffres fantaisistes qui peuplent les questions des sites de préparation et apparemment aussi du vrai examen (du genre : à 100km/h, votre champ visuel est réduit à 45° ou peut-être 50° — qui a inventé un chiffre pareil ?).

Je l'ai dit plus haut, les sites de préparation sont truffés de questions débiles ou mal foutues. Au vrai examen, il semble qu'il y en ait moins : je crois avoir compris que la Sécurité routière, surtout face au fiasco du changement de la banque de question (le taux de réussite à l'examen a chuté de façon vertigineuse) a écarté les questions qui posaient vraiment trop de difficultés aux candidats ; je ne sais pas s'ils les ont ensuite remises, fait refaire, ou définitivement écartées.

Il restait cependant quelques questions que j'ai trouvées problématiques. J'ai retenu (j'ai plutôt bonne mémoire pour ce genre de choses, et je ne vois pas ce qui m'interdirait de communiquer sur les questions que j'ai eues) :

Il y avait peut-être encore une ou deux questions que je qualifierais de mal posée. Il y en a aussi au moins une où j'avoue franchement que j'ignorais quelque chose que j'aurais dû savoir : la photo montrait une route (goudronnée, en montagne, en tout cas clairement hors agglomération) sans ligne axiale, et la question demandait si la route était à sens unique de circulation (j'ai eu au moins une, et peut-être deux, questions sur ce même thème, mais les autres étaient en agglomération et il était facile d'y répondre en vérifiant par exemple si une ligne de stop prenait toute la largeur de la chaussée), et j'ai répondu oui alors que manifestement ce n'était pas le cas (outre qu'une route à sens unique à la campagne doit être excessivement rare, il y avait des lignes de rive discontinues des deux côtés permettant de conclure que, non, la route n'était pas à sens unique) ; reste que les livres de code que j'ai consulté n'avaient jamais mentionné que la ligne axiale pouvait être absente, ce qui est tout de même une lacune.

Mais il faut bien dire que la grande majorité des questions sont extraordinairement faciles : par exemple, j'ai eu droit à la suivante : pour diminuer la pollution et les nuisances environnementales, je privilégie : (A) mon véhicule, (B) les transports en commun. Si on élimine les questions absurdement faciles et celles qui sont vraiment très mal posées, je me demande combien il en reste qui soient vraiment discriminantes.

Pour la complétude de cette entrée, il faut ajouter qu'il y a deux contraintes imposées sur le tirage de 40 questions parmi la base de 1000 : l'une est qu'exactement 4 des 40 questions doivent être des questions de type vidéo (les 36 autres sont des questions de type image fixe) ; l'autre est que le nombre de questions de chaque famille est imposé (L:4, C:10, R:4, U:5, D:3, A:1, P:3, M:4, S:3, E:3 ; les lettres correspondent à ce que j'ai décrit plus haut, par exemple L = dispositions légales en matière de circulation routière). Je ne crois pas qu'il y ait de contrainte croisée (nombre de questions vidéos au sein de telle ou telle catégorie). Je serais curieux de savoir comment ils font ce tirage avec ces deux contraintes.

☞ Voici donc un petit défi mathématique/algorithmique : vous disposez de N (par exemple N=1000) objets qui ont été répartis en un certain nombre (petit, genre 9 ou 10) de « familles » et un certain nombre de « types » (genre 2 : image fixe ou vidéo). Vous souhaitez tirer n (par exemple n=40) objets parmi les N, avec une contrainte sur le nombre d'objets de chaque famille et aussi une contrainte sur le nombre d'objets de chaque type (mais pas de contrainte croisée sur le nombre d'objets de chaque combinaison famille+type). Hormis ces contraintes, le tirage doit être uniforme ; autrement dit, équivalent à tirer n objets parmi N uniformément et recommencer jusqu'à ce que les contraintes soient satisfaites (mais ça c'est trop lent). Comment faire de façon efficace ? (Je précise que je n'ai pas réfléchi : je vois un algorithme « évident », mais je n'ai pas prouvé qu'il produit bien la distribution uniforme ; c'est peut-être super facile, mais si ça se trouve, mon algorithme est idiot et la question est très difficile : après tout, tirer uniformément une matrice bistochastique est notoirement un problème ouvert.)

Pour revenir au code de la route, au final, j'ai obtenu 36/40.

S'agissant du déroulement pratique de l'épreuve, ce sont maintenant des organismes agréés (privés) qui le font passer : la présentation est facturée 30€, les délais sont très courts (en tout cas en juillet à Paris tous les jours étaient disponibles, et au final nous n'étions que deux à le passer en même temps). J'ai passé chez un prestataire appelé ObjectifCode, une marque (filiale ?) de la compagnie de certification SGS, qui loue un bureau chez Regus qui eux-mêmes louent deux étages d'un bâtiment de bureaux avenue de France : au passage, je trouve parfaitement déprimants ces bâtiments de bureau impersonnels et sans cohérence où sont rassemblés des choses qui n'ont rien à voir à part de sous-sous-sous-louer au même endroit ; bâtiments qui ont d'ailleurs généralement des canapés très confortables au rez-de-chaussée que personne n'utilise jamais (les hôtesses à l'accueil m'ont froidement fait savoir que j'étais censé attendre dehors qu'on vienne me chercher : apparemment, le fait d'être client d'un donneur d'ordre d'un locataire d'un locataire de leur employeur — ou quelque chose comme ça — ne me donnait pas le droit de m'asseoir sur les comfy chairs).

L'épreuve elle-même se déroule (ou en tout cas, s'est déroulée pour ce qui me concerne) sur une tablette munie d'écouteurs. Un surveillant (archi-blasé) est venu nous chercher, moi et l'autre candidate du moment, en bas de l'immeuble, nous a amenés dans une petite pièce impersonnelle avec une quinzaine de tables munies de tablettes, nous a fait régler le son et la luminosité des tablettes à notre goût (soit : au maximum). On entre un numéro d'inscription et un mot de passe reçu avec la convocation. La tablette avertit qu'elle est « sécurisée » et que toute tentative pour appuyer sur un bouton autre que ce qu'on est censé utiliser pour répondre aux questions interrompra et annulera l'épreuve, et rappelle aussi que pour les questions vidéo, il n'y a pas moyen de revoir la vidéo. L'interface se limite à quatre cases à cocher (A,B,C,D) ; précisions pas forcément dénuées d'intérêt : on peut cocher les cases dès que la question s'affiche, il n'est pas nécessaire d'attendre que la fin de l'enregistrement de sa lecture (contrairement à au moins un site de préparation que j'ai testé), et il n'y a pas de bouton valider, le système prend simplement les cases cochées à la fin du compte à rebours (là aussi, contrairement à au moins un site de préparation où j'avais parfois faux parce qu'à cause d'un doute, j'avais trop tardé à valider). Je me demande à quel point tout cela est uniforme, ou si ce que je décris est spécifique à l'organisme chez lequel je suis passé. Les résultats sont envoyés par mail — sauf que quand on passe par une auto-école, c'est elle qui les reçoit, et qu'elle n'a pas trouvé intelligent de me les transmettre immédiatement, elle a attendu que je les réclame.

Pour ce qui est des questions techniques sous-jacentes, ce document interne est intéressant à consulter à ce sujet, même s'il est écrit dans un jargon qui combine un peu le pire de l'administration et de l'informatique.

↑Entry #2454 [older|newer] / ↑Entrée #2454 [précédente|suivante]

Recent entries / Entrées récentesIndex of all entries / Index de toutes les entrées