Salut Krokodilo

Toute évaluation est par nature biaisée. Une évaluation standardisée (comme les tests de recrutement par exemple) implique de faire rentrer le candidat dans les cases, et le praticien est toujours insuffisamment formé à l’examen. Dans les contrôles scolaires, seuls les contrôles de maths offrent une mesure fidèle des connaissances du candidat, et les contrôles de SVT et de physique-chimie s’en approchent.

Les autres évaluations sont largement sujettes aux relations interpersonnelles et à la capacité de communication des individus. Combien de flambys dans les entreprises, administrations et associations sont bien vus alors que ce sont des nuls ? Un beau verbe, un sourire pepsodent, une claque sur l’épaule, un physique de rêve, de l’humour, une invitation au resto et le tour est joué : tu es bien noté. Si en plus tu es du même bord politique, soutiens la même équipe de foot, c’est bonus. A côté, le tâcheron qui fait bien son travail, qui ne dit jamais rien, ne sollicite ni ne revendique jamais rien, et est toujours là pour aider les autres parce qu’il connaît bien son métier, il n’aura aucune reconnaissance ni promotion particulière. Surtout s’il est gros (si, si, il y a des études statistiques qui prouvent que les gros, les noirs et les moches ont moins de promotions que les autres). Si tout ce qui brille n’est pas or, l’être humain aime quand même les artifices. Franchement, le prof qui présente bien va amadouer son public (parents, collègues, élèves, directeurs), cela ne signifie pas qu’il soit compétent. Et s’il ne l’est pas, on le lui pardonnera. Le critère principal d’évaluation dans ces cas là, ça n’est pas la compétence.

Pour éviter au maximum les biais, il faut identifier les critères objectifs de mesure. Et ils sont peu nombreux dans le cas de l’enseignement. On peut mesurer la ponctualité, c’est vrai, mais à part ça ? La réussite des élèves aux examens ? C’est déjà fait aux US, avec de récents scandales à la clef. C’est déjà fait au RU, avec des profs qui ne forment plus leurs élèves qu’à PISA et délaissent le programme. Dans les universités américaines, les étudiants notent leurs profs. Ca n’est pas concluant.

Dans le cadre de l’enseignement, on ne peut distinguer la mesure des compétences de la comparaison. Or, comment comparer un établissement de centre ville qui accueille de bons élèves triés sur le volet, et un établissement de banlieue difficile ? Les profs ne font pas le même travail, et surtout pas dans les mêmes conditions. Comment comparer deux classes au sein du même établissement ? Un individu est unique, mais un groupe est également unique ; c’est une alchimie unique. On ne peut comparer que ce qui est comparable, or pour établir des critères d’évaluation, les comités d’évaluation vont tenter de standardiser le processus pour donner un semblant d’objectivité. Tâche impossible.

Se pose aussi, comme tu l’as remarqué, la compétence de l’évaluateur. L’inspecteur est incompétent en ce domaine et le chef d’établissement ne l’est pas plus. En plus, combien de franc-maçons, de politisés, de syndiqués, qui ne vont pas mal évaluer leurs « frangins » ?

Ca n’est pas le président des cons qui voulait évaluer mensuellement ses ministres ?

Même dans les labos de psychologie cognitive, où on essaie d’évaluer avec le plus d’objectivité possible les construits et les processus cognitifs, on sait très bien qu’on n’évalue pas forcément ce qu’on veut évaluer, tant les processus sont imbriqués les uns dans les autres. Les évaluations psychométriques, qui quant à elles, se veulent mesurer la vérité du construit, à force de données quantitatives, eh bien, elle n’ont pas empêché la réforme des tests d’entrée dans les universités américaines en raison des multiples biais qui ont été détectés, notamment par le MIT qui en 2005 a indiqué dans un rapport que plus les essais étaient longs, plus la note était meilleure.

L’APA (American Psychological Association) a rappelé en 2008 ou 2009 que bien des psychologues ne savaient pas mesurer correctement ce qu’ils voulaient mesurer (QI, etc.).

Il existe aux US, quantité d’instruments et de protocoles de mesures dans le système éducatif. Ca n’a rien changé à la situation, sauf une augmentation des coûts.

Voilà ce qui va arriver en France : des sociétés spécialisées dans les évaluations (il n’existe plus de société française) vont proposer des évaluations standardisées et des protocoles d’évaluation. Les politiques et les pseudo-experts qui les entourent vont dire « banco, ça me semble bien », et avaliser tout ça.

Combien de psychologues et psychiatres ont évalué un criminel apte à vivre en société, et qui quelques jours plus tard commet un autre crime ?

Combien d’élèves ont été évalués comme cancres et ont superbement bien réussi ?

Combien de personnes brillantes et compétentes sont recalées par les tests qui mesurent le big five (la personnalité) ? Combien ont réussi à ces tests et se sont avérées être des catastrophes pour l’entreprise ?

L’évaluation, c’est majoritairement du pipeau, que ce soit l’évaluation d’une copie, d’une personne, d’un travail, etc.

Pourquoi c’est du pipeau ? Parce que nous adaptons notre comportement (donc notre performance), à l’environnement. Parce que l’évaluateur n’est pas neutre. Parce que les outils d’évaluation, aussi perfectionnés soient-ils, sont biaisés, il y a trop de relations entre les phénomènes pour les isoler. Bref, je peux passer pour un con pour certains, et l’instant d’après pour d’autres, un gars sympa. Je ne suis ni l’un ni l’autre, c’est fonction de la tâche.