J'avais raconté il y a presque un an que j'avais entrepris de passer le permis de conduire — à commencer par l'épreuve théorique générale (a.k.a., « code »). J'ai passée cette épreuve seulement mardi (spoiler : avec succès) : j'avais choisi pour m'inscrire une période où j'avais le temps de m'en occuper, mais mon dossier a été administrativement bloqué pendant si longtemps que cette période faste s'était finie quand les problèmes ont été résolus, et ce n'est donc tout récemment que j'ai pu m'y remettre, d'où énormément de temps perdu. (Ce n'était pas que passer l'épreuve de code elle-même soit long ou compliqué, mais c'est inutile et sans doute une mauvaise idée de le faire avant d'avoir le temps de pouvoir commencer à prendre des leçons de conduite.)
Entre temps, j'ai pu apprendre un certain nombre de bizarreries du code de la route français (j'en ai signalé ici au passage et ici). J'ai aussi pu expérimenter avec plusieurs jeux de question d'entraînement.
Pour le contexte, je rappelle les modalités de l'épreuve : 40 questions à choix multiples, accompagnées d'images fixes ou, pour 4 questions parmi les 40, d'une courte vidéo ; la réponse est un sous-ensemble de {A,B,C,D} qui n'est ni l'ensemble vide ni l'ensemble de tous les choix listés ; on dispose pour répondre de 20 secondes par question, et il faut obtenir au moins 35/40 pour valider.
Mon auto-école proposait des tests d'entraînement sur place avec
des questions Codes Rousseau, j'ai aussi acheté un des livres de cet
éditeur qui me donnaît accès à un site Web de test (très mal fait, en
Flash, et pas mis à jour des dernières réformes), mais l'auto-école me
fournissait par ailleurs un accès à un site appelé Prép@code
qui avait déjà il y a un an une vieille version (appelons-la v0 dans
la suite) et une nouvelle (disons v1), et depuis qui en a créé une
troisième (v2). La moralité, c'est que tous ces systèmes
d'entraînement sont assez mauvais. Je ne veux pas juste dire que les
questions sont mauvaises — j'avais
donné quelques exemples tirés du
Prép@code v1 l'an dernier — mais aussi qu'ils ne sont pas non plus
très représentatifs des questions du vrai examen. Pour preuve, ils
sont assez mal corrélés les uns avec les autres : j'ai commencé à me
préparer sur Prép@code v1, il ne m'a pas fallu longtemps pour dépasser
régulièrement 35/40, puis quand j'ai été confronté aux questions des
Codes Rousseau, je les ai trouvées beaucoup plus dures ; puis la
version v2 de Prép@code est sortie, mon score a chuté de façon
vertigineuse, parce qu'ils avaient remplacé plein de questions
auxquelles je commençais à être habitué (Prép@code v1, par exemple,
était bourré de questions sur les catégories de sièges pour petits
enfants) par d'autres questions encore plus mal rédigées, byzantines
et parfois contradictoires. (Il y avait d'ailleurs des questions
tellement bizarres que ça ne peut être qu'une erreur technique : par
exemple quand le petit texte censé expliquer la réponse dit exactement
le contraire de ce que le système accepte comme réponse correcte, ou
quand ils échangent une image censée illustrer la question avec celle
censée illustrer la réponse. Je pense qu'ils ont voulu sortir leur
site v2 tellement à la hâte qu'ils l'ont bâclé. Ceci dit, pour ce qui
est de la forme, l'interface des versions v1 et v2 était plutôt bien
faite.)
Ce n'est pas tellement la faute des éditeurs de questions d'entraînement. Le problème vient de l'opacité de l'examen, que j'ai dénoncée et que je continue à dénoncer : au lieu d'avoir une banque de questions vraiment importantes (disons de l'ordre de 30 000 questions), et qui pourrait donc être complètement publique, sur laquelle tout le monde pourrait s'entraîner (et qui pourraient faire l'objet de retours publics), il n'y a qu'un nombre relativement restreint de questions possibles à l'examen officiel (1000, peut-être même moins si certaines ont été écartées), donc elles doivent être secrètes, et je suppose que les éditeurs de sites de préparation travaillent sur la base de fuites ou de leur propre intuition. (Ceci pose aussi la question de l'avantage qu'obtient l'éditeur qui a remporté le marché — je vais dire plus bas qui c'est — car même s'il n'a pas le droit d'utiliser telles quelles les questions officielles dans ses préparations, et même s'il n'a pas le droit de faire de publicité autour de ce fait, il dispose d'un savoir-faire qui le met en position préférentielle.)
S'agissant des questions du vrai examen, j'ai eu quelques éléments de réponse sur leur origine, qui me semblait bien mystérieuse. La banque de questions a été intégralement refaite en mai 2016 (la banque précédente, datant de 2009, comportait autour de 600 question, je crois, la nouvelle en compte 1000), en même temps que les modalités de l'épreuve ont été remaniées comme je vais le dire plus bas. Ce n'est pas l'Administration qui a produit ces questions, c'est bien un éditeur privé, la société EDISER, en réponse à une offre de marché passé en 2015 par la Délégation à la Sécurité et à la Circulation Routières du Ministère de l'Intérieur ; et c'est cet unique éditeur qui a fourni l'intégralité des 1000 questions utilisées à l'examen. (Contrairement à ce que m'avait prétendu mon auto-école en m'affirmant que les questions de l'examen étaient un mélange de questions fournies par plusieurs éditeurs : ça eut peut-être été vrai, mais ça ne l'est plus. Bon, techniquement, j'ai eu la confirmation qu'EDISER avait fourni 1000 questions et que l'examen comporte 1000 questions, il est logiquement possible que ces ensembles ne coïncident pas, mais je crois quand même que c'est une hypothèse raisonnable.)
Grâce à l'aide d'un ami calé en droit administratif (qui préfère ne pas être nommé, mais que je remercie de nouveau au passage) j'ai fait une demande d'accès aux documents administratifs pour avoir les pièces de ce marché. (Faute de réponse à ma demande initiale, j'ai dû saisir la CADA pour obtenir une réponse ; j'ai eu ensuite au téléphone quelqu'un du ministère, qui semblait tout à fait surpris de ma démarche, et qui m'a expliqué que ce n'était pas de la mauvaise volonté mais qu'ils étaient débordés — ce que je suis tout à fait prêt à croire.) C'est de cette manière que j'ai entendu le nom d'EDISER. Eux-mêmes n'ont pas le droit (c'est dans les termes du marché) de faire de la publicité autour du fait qu'ils ont produit les questions du vrai examen, mais je ne vois pas ce qui m'interdirait de faire cette pub pour eux.
J'ai aussi appris que les questions ont coûté à l'Administration la somme de 42k€ (vous penserez ce que vous voudrez de ce prix unitaire de 42€/question), et que la seule réponse à l'offre de marché autre que celle d'EDISER venait des Codes Rousseau (les règles d'accès aux documents de marchés publics font que je n'ai pas de précision sur l'offre des Codes Rousseau à part le fait qu'elle n'a pas été retenue).
Voici d'ailleurs un extrait de l'évaluation faite par
l'Administration de la qualité des questions fournies
par EDISER : Les situations présentées sont
claires. L'effort pour présenter des situations faisant appel à une
appréciation des risques plutôt qu'à la seule connaissance du code de
la route est à souligner. Elles requièrent du candidat une analyse de
la situation et une identification du danger potentiel le plaçant déjà
dans la position d'un conducteur responsable.
En revanche, je n'ai pas vraiment eu de réponse claire sur ce qui
tenait lieu de programme d'interrogation. Les questions sont
réparties en neuf ou dix familles (1. dispositions légales en matière
de circulation routière [L : 100 questions], 2. le conducteur [C :
250], 3. la route [R : 100], 4. les autres usagers de la route [U :
125], 5. réglementation générale et divers [D], et premiers
secours [A] [D+A : 100 questions], 6. précautions nécessaires à
prendre en quittant le véhicule [P : 75], 7. éléments mécaniques et
autres équipements liés à la sécurité, savoir détecter les
dysfonctionnements les plus courants [M : 100], 8. équipements de
sécurité des véhicules [S : 75], et 9. règles d'utilisation du
véhicule en relation avec le respect de l'environnement [E : 75]) ;
dans ce cahier des charges, les questions sur les secours en cas
d'accident sont rangés avec les questions diverses (dans la famille
nº5), mais d'autres documents utilisent une typologie où c'est séparé
(D et A respectivement), je ne sais pas la raison de cette bizarrerie.
Le cahier des charges donne quelques sujets et sous-sujets
d'interrogation pour chacune de ces familles, mais ça ne va pas
beaucoup plus loin que ¼ à 1 page d'attendus pour chacune. (Toutes ne
sont pas d'ailleurs également détaillées : les familles 1 à 3 sont
précisées assez en détails, alors que la famille 9 a juste trois
sous-sujets : éco-mobilité
, réglementation concernant le
bruit et la pollution
et conduite économique et écologique (les
principes — les effets sur la sécurité routière, la consommation de
carburant, le rejet des gaz à effet de serre, l'usure des éléments
mécaniques du véhicule).
.) Je pense qu'il y a eu des réunions de
travail entre la Sécurité routière et les éditeurs candidatant au
marché, dont je n'ai, évidemment, pas de précisions quant au contenu.
Je ne sais toujours pas, par exemple, qui a inventé les chiffres
fantaisistes qui peuplent les questions des sites de préparation et
apparemment aussi du vrai examen (du genre : à 100km/h, votre champ
visuel est réduit à 45° ou peut-être 50° — qui a inventé un chiffre
pareil ?).
Je l'ai dit plus haut, les sites de préparation sont truffés de questions débiles ou mal foutues. Au vrai examen, il semble qu'il y en ait moins : je crois avoir compris que la Sécurité routière, surtout face au fiasco du changement de la banque de question (le taux de réussite à l'examen a chuté de façon vertigineuse) a écarté les questions qui posaient vraiment trop de difficultés aux candidats ; je ne sais pas s'ils les ont ensuite remises, fait refaire, ou définitivement écartées.
Il restait cependant quelques questions que j'ai trouvées problématiques. J'ai retenu (j'ai plutôt bonne mémoire pour ce genre de choses, et je ne vois pas ce qui m'interdirait de communiquer sur les questions que j'ai eues) :
- Une question formulée de façon négative (quelque chose
comme
mon enfant étant installé dans un siège adapté, je n'ai pas besoin d'attacher sa ceinture
) dont les réponses proposées étaientoui
etnon
. J'ai fait l'hypothèse (probable) queoui
voulait direcorrect
etnon
voulait direincorrect
, mais ces réponses auraient aussi bien pu s'appelernon
etsi
respéctivement, ce qui est quand même source de confusion ! - Autre problème syntaxique : la photo montrait quelqu'un en train
de poser un triangle de présignalisation avant une voiture arrêtée (en
panne, faut-il supposer) ; la question demandait quelque chose
comme :
en cas de panne ou d'accident, je protège les passagers de mon véhicule : à l'intérieur de mon véhicule ? (A) oui (B) non ; à l'extérieur de mon véhicule ? (C) oui (D) non
. Cela peut s'interpréter de deux façons différentes : vaut-il mieux les laisser dans le véhicule ou les faire sortir ? (du coup, il faut soit répondre A+D ou B+C), ou bien : dans la mesure où l'on fait l'un ou l'autre, faut-il prendre des mesures de protection (du coup, on peut tout à fait répondre A+C). J'ai pris la deuxième interprétation et répondu A+C, mais franchement, je n'en sais rien. - La photo représentant des voitures dans un brouillard très épais.
Deux affirmations : (A)
la vitesse est limitée à 50km/h
, et (B)je circule en feux de brouillard arrière
. Pour ce que je pouvais en juger, les deux étaient correctes. Mais il n'est pas possible que la réponse correcte soit « toutes les options » (il y en a forcément au moins une juste et au moins une fausse). J'ai quand même fait ce choix, sachant que du coup ça me coûtait un point, pour protester contre cette question (et dans l'espoir qu'ils consultent les statistiques d'erreurs). Je peux imaginer deux possibilités expliquant cette bizarrerie : soit il fallait juger que le brouillard n'était pas si épais (la limite est à 50m de visibilité, c'est vraiment difficile à évaluer), soit il faut jouer au jésuite et prétendre queje circule en feux de brouillard arrière
signifie qu'on circule avec les seuls feux de brouillard arrière, et ce n'est pas bon puisqu'il faut mettre les feux de croisement. Dans les deux cas, c'est se moquer du monde. - Une photo représentant un piéton devant un passage piéton, mais
qui semblait regarder ailleurs et ne pas vraiment avoir l'intention de
traverser. Encore un de ces cas vraiment difficiles à juger. La
question était, si je me souviens bien :
je m'arrête ? (A) oui, (B) non ; je ralentis et place le pied devant le frein ? (C) oui, (D) non
. Normalement je penche plutôt pour les réponses les plus prudentes, mais ici, comme il y avait la deuxième partie de la question, j'ai répondu B et C. - J'ai eu deux fois une question me demandant si, face à un panneau
stop, on s'arrête au panneau ou à la ligne. La réponse est bien
connue : à la ligne. Mais une de ces questions présentait une
variation bizarre : il y avait deux panneaux de stop qui se
suivaient immédiatement (et une seule ligne), ce qui est quand même
très inhabituel ; le second portait un pannonceau, illisible à la
taille de l'image, mais qui était peut-être un
rappel
(ça existe, ça, un rappel de stop ?). La question demandait si on devait s'arrêter (A) au niveau du premier panneau, (B) au niveau du deuxième panneau, (C) à la ligne. J'ai répondu C, mais avec un certain doute. - J'ai eu une question sur le champ visuel. Heureusement, elle
était extrêmement simple : je crois que c'était à peu près :
avec la vitesse, le champ visuel (A) s'élargit, (B) rétrécit ; à 100km/h, il est d'environ (C) 120°, (D) 50°
(il n'y avait donc pas de doute sur la réponse B+D).
Il y avait peut-être encore une ou deux questions que je qualifierais de mal posée. Il y en a aussi au moins une où j'avoue franchement que j'ignorais quelque chose que j'aurais dû savoir : la photo montrait une route (goudronnée, en montagne, en tout cas clairement hors agglomération) sans ligne axiale, et la question demandait si la route était à sens unique de circulation (j'ai eu au moins une, et peut-être deux, questions sur ce même thème, mais les autres étaient en agglomération et il était facile d'y répondre en vérifiant par exemple si une ligne de stop prenait toute la largeur de la chaussée), et j'ai répondu oui alors que manifestement ce n'était pas le cas (outre qu'une route à sens unique à la campagne doit être excessivement rare, il y avait des lignes de rive discontinues des deux côtés permettant de conclure que, non, la route n'était pas à sens unique) ; reste que les livres de code que j'ai consulté n'avaient jamais mentionné que la ligne axiale pouvait être absente, ce qui est tout de même une lacune.
Mais il faut bien dire que la grande majorité des questions sont
extraordinairement faciles : par exemple, j'ai eu droit à la
suivante : pour diminuer la pollution et les nuisances
environnementales, je privilégie : (A) mon véhicule, (B) les
transports en commun
. Si on élimine les questions absurdement
faciles et celles qui sont vraiment très mal posées, je me demande
combien il en reste qui soient vraiment discriminantes.
Pour la complétude de cette entrée, il faut ajouter qu'il y a deux
contraintes imposées sur le tirage de 40 questions parmi la base de
1000 : l'une est qu'exactement 4 des 40 questions doivent être des
questions de type vidéo (les 36 autres sont des questions de type
image fixe) ; l'autre est que le nombre de questions de chaque famille
est imposé (L:4, C:10, R:4, U:5, D:3, A:1, P:3, M:4, S:3, E:3 ; les
lettres correspondent à ce que j'ai décrit plus haut, par exemple
L = dispositions légales en matière de circulation routière
).
Je ne crois pas qu'il y ait de contrainte croisée (nombre de questions
vidéos au sein de telle ou telle catégorie). Je serais curieux de
savoir comment ils font ce tirage avec ces deux contraintes.
☞ Voici donc un petit défi mathématique/algorithmique : vous disposez de N (par exemple N=1000) objets qui ont été répartis en un certain nombre (petit, genre 9 ou 10) de « familles » et un certain nombre de « types » (genre 2 : image fixe ou vidéo). Vous souhaitez tirer n (par exemple n=40) objets parmi les N, avec une contrainte sur le nombre d'objets de chaque famille et aussi une contrainte sur le nombre d'objets de chaque type (mais pas de contrainte croisée sur le nombre d'objets de chaque combinaison famille+type). Hormis ces contraintes, le tirage doit être uniforme ; autrement dit, équivalent à tirer n objets parmi N uniformément et recommencer jusqu'à ce que les contraintes soient satisfaites (mais ça c'est trop lent). Comment faire de façon efficace ? (Je précise que je n'ai pas réfléchi : je vois un algorithme « évident », mais je n'ai pas prouvé qu'il produit bien la distribution uniforme ; c'est peut-être super facile, mais si ça se trouve, mon algorithme est idiot et la question est très difficile : après tout, tirer uniformément une matrice bistochastique est notoirement un problème ouvert.)
Pour revenir au code de la route, au final, j'ai obtenu 36/40.
S'agissant du déroulement pratique de l'épreuve, ce sont maintenant des organismes agréés (privés) qui le font passer : la présentation est facturée 30€, les délais sont très courts (en tout cas en juillet à Paris tous les jours étaient disponibles, et au final nous n'étions que deux à le passer en même temps). J'ai passé chez un prestataire appelé ObjectifCode, une marque (filiale ?) de la compagnie de certification SGS, qui loue un bureau chez Regus qui eux-mêmes louent deux étages d'un bâtiment de bureaux avenue de France : au passage, je trouve parfaitement déprimants ces bâtiments de bureau impersonnels et sans cohérence où sont rassemblés des choses qui n'ont rien à voir à part de sous-sous-sous-louer au même endroit ; bâtiments qui ont d'ailleurs généralement des canapés très confortables au rez-de-chaussée que personne n'utilise jamais (les hôtesses à l'accueil m'ont froidement fait savoir que j'étais censé attendre dehors qu'on vienne me chercher : apparemment, le fait d'être client d'un donneur d'ordre d'un locataire d'un locataire de leur employeur — ou quelque chose comme ça — ne me donnait pas le droit de m'asseoir sur les comfy chairs).
L'épreuve elle-même se déroule (ou en tout cas, s'est déroulée pour ce qui me concerne) sur une tablette munie d'écouteurs. Un surveillant (archi-blasé) est venu nous chercher, moi et l'autre candidate du moment, en bas de l'immeuble, nous a amenés dans une petite pièce impersonnelle avec une quinzaine de tables munies de tablettes, nous a fait régler le son et la luminosité des tablettes à notre goût (soit : au maximum). On entre un numéro d'inscription et un mot de passe reçu avec la convocation. La tablette avertit qu'elle est « sécurisée » et que toute tentative pour appuyer sur un bouton autre que ce qu'on est censé utiliser pour répondre aux questions interrompra et annulera l'épreuve, et rappelle aussi que pour les questions vidéo, il n'y a pas moyen de revoir la vidéo. L'interface se limite à quatre cases à cocher (A,B,C,D) ; précisions pas forcément dénuées d'intérêt : on peut cocher les cases dès que la question s'affiche, il n'est pas nécessaire d'attendre que la fin de l'enregistrement de sa lecture (contrairement à au moins un site de préparation que j'ai testé), et il n'y a pas de bouton valider, le système prend simplement les cases cochées à la fin du compte à rebours (là aussi, contrairement à au moins un site de préparation où j'avais parfois faux parce qu'à cause d'un doute, j'avais trop tardé à valider). Je me demande à quel point tout cela est uniforme, ou si ce que je décris est spécifique à l'organisme chez lequel je suis passé. Les résultats sont envoyés par mail — sauf que quand on passe par une auto-école, c'est elle qui les reçoit, et qu'elle n'a pas trouvé intelligent de me les transmettre immédiatement, elle a attendu que je les réclame.
Pour ce qui est des questions techniques sous-jacentes, ce document interne est intéressant à consulter à ce sujet, même s'il est écrit dans un jargon qui combine un peu le pire de l'administration et de l'informatique.
Ajout : pour la suite de mes aventures de permis de conduire, c'est ici, là et là.