jeudi 7 août 2008 - par Chem ASSAYAG

Les entrailles du classement

Pendant que les vrais JO démarrent à Pékin, l’université de Shanghai publie son classement annuel des universités mondiales que certains voient déjà comme les JO de l’enseignement supérieur. Si ce palmarès-ci n’est pas entaché de dopage, il convient en revanche de le relativiser.

Comme chaque année depuis son lancement en 2003 le Academic Ranking of World Universities - ou Palmarès académique mondial des universités - établi par l’université Jiao Tong de Shanghai donne lieu à de nombreux commentaires. A l’origine, ce classement était établi pour mesurer l’écart qui séparait les universités chinoises des meilleures universités mondiales (« Our original purpose of doing the ranking was to find out the gap between Chinese universities and world-class universities, particularly in terms of academic or research performance »), mais son retentissement en a fait un étalon utilisé par l’ensemble de la communauté scientifique et universitaire internationale et sans doute aussi un outil utilisé par les étudiants et leurs familles dans leurs choix d’éducation. On ne peut donc l’ignorer.

Cette fois-ci encore le classement des institutions françaises dans l’ARWU donne lieu à des analyses à la tonalité négative sur la qualité de nos établissements supérieurs : « Pauvres universités françaises  ! » titre Le Monde, ou encore « La France fait à nouveau pâle figure dans ce palmarès annuel aussi redouté que critiqué dans le monde universitaire », nous indique Libération. Il faut dire que la performance des universités françaises n’est a priori pas très brillante : 3 établissements dans la liste des 100 premières universités mondiales, 23 au total dans le top 500, avec Paris VI, meilleure institution française, qui apparaît seulement en 42e place… Au final, la France apparaît au 7e rang mondial de ce classement loin derrière des pays européens comparables comme la Grande-Bretagne ou l’Allemagne ou encore à égalité avec l’Australie ou la Suisse pour la présence dans le top100. L’ego national en prend un coup.

Aussi il nous a paru intéressant de mieux comprendre comment le classement était établi pour en déceler les éventuels biais. A ce titre, les auteurs de l’étude soulèvent eux-mêmes la question de son objectivité dans leur FAQ et indiquent qu’elle est sujette à polémique (« The quality of universities cannot be precisely measured by mere numbers. Therefore, any ranking is controversial and no ranking is absolutely objective »). En effet, au-delà des obstacles méthodologiques, les indicateurs retenus pour mesurer la performance des universités prédéfinissent pour une part les résultats. Nous allons y revenir en détail.

Le classement repose sur six critères qui sont codés de la façon suivante : Alumni, Award, HiCi, N&S, PUB et PCP. Le poids de chaque critère varie dans la note totale, respectivement 10 % pour Alumni, 20 % pour Award, 20 % pour HiCi, 20 % pour N&S, 20 % pour PUB et 10 % pour PCP.

§ Alumni correspond au nombre d’anciens élèves de l’institution qui ont obtenu un prix Nobel ou une médaille Fields (mathématiques) et qui ont obtenu une licence, un master ou un doctorat dans ladite institution. La mesure est pondérée en fonction de la date d’obtention du diplôme (plus on s’éloigne dans le temps moins la pondération est forte) ;

§ Award correspond aux membres du corps professoral de l’institution qui ont obtenu un prix Nobel ou une médaille Fields. Sont concernés les prix Nobel de physique, de chimie, de médecine et d’économie. La mesure est pondérée en fonction de la date d’attribution du prix Nobel ou de la médaille Fields (plus on s’éloigne dans le temps moins la pondération est forte) ;

§ HiCi correspond pour une institution donnée au nombre de chercheurs fréquemment cités, c’est-à-dire mentionnés dans les articles de leurs pairs, et ce dans 21 catégories ;

§ N&S correspond aux articles publiés dans les revues Nature et Science entre 2003 et 2007 par les membres du corps professoral d’une université ;

§ PUB est une mesure du nombre total d’articles publiés en 2007 suivant un index universitaire ;

§ PCP est un indicateur de correction qui pondère les résultats des cinq facteurs précédents en fonction de la taille du corps professoral d’une institution.

Pour chaque indicateur, la meilleure institution du classement est affectée du score 100, et les institutions suivantes obtiennent un score qui est fonction de leur performance par rapport à ce meilleur score (évidemment inférieur à 100). Imaginons par exemple que l’université de Harvard obtienne le meilleur score pour le critère Award avec 150 prix Nobel ou médailles Fields, son score sera de 100 sur le critère. Stanford avec 100 prix Nobel ou médailles Fields aura alors un score de 66,6 (100/150).

Comme on le voit tout cela est relativement complexe… mais on peut d’ores et déjà formuler des remarques de bon sens.

Tout d’abord le classement est très focalisé (uniquement ?) sur la recherche. La dimension pédagogique, d’enseignement des universités est totalement absente, ce qui est pour le moins étrange car la formation de chercheurs n’est pas l’activité principale de nombreuses universités. Un intitulé plus exact du classement devrait être le Palmarès mondial de la recherche dans les universités !

D’ailleurs on notera ici comme un paradoxe : dans un contexte où nos gouvernants conçoivent l’université avant tout comme un lieu de formation à l’emploi il y a une légère contradiction à s’alarmer outre mesure d’un classement centré sur la recherche… mais bon passons.

Le classement de Shanghai est par ailleurs essentiellement consacré aux sciences dures ; la liste des prix Nobel retenus – absence du prix Nobel de littérature, voire du Nobel de la paix – ou la mise en avant de Science et Nature comme revues scientifiques en attestent.

Enfin dernière remarque : en choisissant Science et Nature comme revues de référence (et les critères HiCi et PUB font aussi la part belle aux revues de langue anglaise) on valide a priori la suprématie de la recherche anglo-saxonne et donc on donne un avantage dès le départ aux universités anglo-saxonnes. Dès lors, des pays comme l’Australie ou le Canada sont très bien classés, sans parler des Etats-Unis qui trustent 54 des premières places, ou de la Grande-Bretagne, seul pays européen présent dans le top 10 et le top 20 avec Cambridge et Oxford.

A ce stade, le jugement qu’on peut porter sur le classement amène donc à en relativiser la portée : il s’agit avant tout d’un classement sur la recherche dans les universités, sur les sciences dures essentiellement, avec un biais culturel fort en faveur du monde anglo-saxon. On peut commencer à être un peu soulagé.

Lorsqu’on entre dans le détail de la méthodologie du classement, on peut aussi faire quelques remarques. En premier lieu, il y a un fort effet d’inertie du classement. En effet, des institutions qui ont été très performantes dans le passé bénéficient au travers des critères Alumni et Award d’une espèce de prime aux résultats antérieurs. Ainsi, même si du jour au lendemain Harvard ou Stanford « s’écroulaient », ils ne disparaîtraient pas du haut du classement.

Il y a un autre aspect méthodologique que l’on peut critiquer : un chercheur qui obtient un prix Nobel a en général un certain âge, or c’est l’institution dans laquelle il travaille au moment de l’obtention du prix qui est créditée. Le chercheur a pu passer les vingt années précédentes ailleurs, faire ses principales découvertes dans une autre université, mais c’est son employeur du moment qui récolte la gloire. Il y a là une forme d’anomalie. Ce critère favorise donc les universités riches capables d’attirer des chercheurs confirmés, potentiellement nobélisables. Il y a une prime à la puissance et à la capacité d’embauche.

Enfin, le classement privilégie la taille et le quantitatif ; malgré la pondération introduite avec le critère PCP, le classement favorise les « grosses » universités puisque avec des bases importantes d’élèves et de chercheurs on a plus de chances de figurer dans le classement (les grosses universités bénéficient notamment d’avantages qui ne sont pas seulement liées à la taille du corps professoral, mais aux effectifs administratifs et aux effets de réseaux – partenaires publics et privés notamment – induits par leur taille).

Au final, le classement de Shanghai doit être nuancé et contextualisé. Bien sûr, il met l’accent sur des faiblesses françaises : atomisation des institutions, manque de visibilité internationale tant en matière de publications que de partenariats, difficulté à fidéliser nos meilleurs chercheurs une fois ceux-ci formés, mais il est fondamental de noter qu’il favorise une certaine vision de l’université (recherche uniquement, course à la taille, alignement sur un modèle anglo-saxon) qui n’est pas forcément la plus pertinente. En outre, il sous-valorise les sciences sociales, domaine où la France est historiquement assez performante.

C’est ce que dit de façon assez juste la FAGE, fédération étudiante, dans un communiqué intitulé de façon offensive « Le Classement de Shanghai n’est pas pertinent pour juger les universités françaises ! » En ce sens, la volonté de créer d’autres formes de classement à l’échelle européenne, par exemple, et sur la base d’autres critères est une bonne initiative. Comme souvent la pluralité des points de vue serait un plus.



9 réactions


  • Krokodilo Krokodilo 7 août 2008 10:55

    Très bon article.

    Et qui n’oublie pas des points essentiels comme la langue et la prise ne compte exclusive des publications anglophones par les index de classement des scientifiques. Les pays francophones devraient s’unir pour organiser leur propre index, qui prendrait également en compte la publication de livres, de manuels d’enseignement (reconnus de qualité par leurs pairs ou un jury), car comme le faisait remarquer une récente pétition de scientifiques, dans quelques années avec ce système injuste, seuls des manuels anglophones seront disponibles et actualisés !

    La taille des uiversités est également citée comme biais du classement de Shangaï ; je crois que les universités parisiennes négocient depuis des années une restructuration pour des regroupements, mais chacun sa chapelle, les intérêts s’opposent, et comme vous le faites remarquer, une grosse machine ne sera pas forcément plus productive question recherche.

    Et les sous : quelle part du PIB consacre-t-on à la recherche ? On préfère doubler le budget communication de l’Elysée... ou financer French24 pour favoriser encore davantage l’anglais...


  • ronchonaire 7 août 2008 11:01

    Même si on peut effectivement discuter des modalités de calcul, il me semble que ce classement est malgré tout pertinent pour évaluer la compétitivité des diplômés sur le marché du travail, marché qui est de plus en plus international pour les diplômés de haut niveau (Master et Doctorat). Or, ce classement est à mon sens assez révélateur du fait que la plupart des universités françaises ne parviennent pas à former de bons diplômés de ce point de vue.

    D’ailleurs, la question de la "qualité pédagogique" est à mon avis largement surévaluée ; lorsque c’est un Prix Nobel qui vous donne un cours, même s’il est mauvais pédagogue, vous avez quand même beaucoup plus de chances d’être stimulé intellectuellement et tiré vers le haut que si le cours vous est donné par un obscur Maître de Conf’ qui n’a eu son poste que grâce aux soutiens dont il disposait dans sa propre université, qu’il n’a d’ailleurs jamais quittée, même si ce dernier est très bon pédagogue. Vous noterez d’ailleurs que la plupart des manuels de référence dans une discipline donnée sont écrits par des profs faisant autorité (en tant que chercheur) dans leur domaine ; la qualité scientifique et la qualité pédagogique sont beaucoup moins déconnectée que vous ne semblez le penser.

    Concernant le "biais anglo-saxon", il faut, là aussi, être réaliste. La langue de travail internationale est l’anglais ; même si cet impérialisme linguistique peut être difficile à accepter, c’est un fait qu’il est difficile de contourner et nous sommes bien obligés de faire avec. Quand je dis "nous", je ne pense pas uniquement aux français mais à tous les non-anglophones. Effectivement, cela place naturellement les universités anglophones en meilleure position ; mais n’oublions pas que ces universités sont également très ouvertes et n’hésitent pas à recruter les meilleurs profs étrangers, quelle que soit leur nationalité. De plus en plus d’universités dans des pays non-anglophones ont d’ailleurs carrément ouverts des programmes Master-Doctorat en anglais pour attirer à la fois de bons étudiants étrangers et de bons profs. La France est en retard de ce point de vue, notamment du fait de l’archaïsme absolu du mode de recrutement des universités françaises qui empêche en pratique tout recrutement en provenance de l’étranger.

    Finalement, les universités françaises me semblent être à leur place dans ce classement ; c’est dire le retard qu’il leur faudra combler si elles veulent être compétitives un jour.


    • Krokodilo Krokodilo 7 août 2008 12:13

      Les manuels de référence sont écrits par des sommités, mais il faut remarquer que

      - Ca se vend mieux quand le nom de l’auteur est connu et reconnu…

      - Il ne l’a pas forcément écrit seul de A à Z… la mention de tous les participants et de celui du patron du service ou du labo est courante dans les publication, parfois pleinement justifiée, parfois de pure forme. Il est probable que les manuels soient aussi un travail d’équipe, dont il sera fait mention aux collaborateurs et/ou remerciements.

      Sur la distinction niveau et qualités pédagogiques, vous prenez un exemple extrême, c’est sûr qu’un cours par un prix Nobel vous stimulera si vous en êtes à ce niveau, mais ce n’est pas du tout aussi évident à des niveaux plus modestes.
      Une analogie - qui ne vaut que ce que valent les comparaisons- dans la traduction des romans : ce ne sont pas les bons écrivains qui font les meilleurs traducteurs, car ils ont tendance à trop réécrire, à privilégier leur propre style, leur propre écriture, là où un traducteur recherchera la fidélité, la traduction de l’idée, de la forme et du style de départ. De même, le bon pédagogue cherche avant tout à être clair, à mettre en avant les points essentiels, à vérifier que ses élèves ont tous compris, etc.

      Evidemment que les USA recrutent, ils exploitent tous les talents du monde et en tirent les bénéfices sans vergogne, que ce soit au cinéma ou dans les labos. Ce n’est pas en acceptant la domination de l’anglais dans les revues scientifiques qu’on corrigera le tir, mais en faisant pareil, en favorisant l’accueil des étudiants prometteurs, en leur facilitant le séjour en France, et en leur faisant cours en français, pas en organisant des cours en anglais qu’ils suivront six mois, pour ensuite faire six mois en Allemagne, à Londres puis aux USA, comme avec les programmes européens Erasmus mundus…


    • ronchonaire 7 août 2008 14:33

      J’ai pris le cas extrême du Prix Nobel car il s’agit d’un des critères du classement et car je pensais à l’enseignement supérieur 3ème cycle (Master-Doctorat). L’enseignement en 1er et 2ème cycle n’a de toute façon pour but que de bourrer le crâne des étudiants avec des connaissances plus ou moins utiles pour la suite, et ce quel que soit le pays ; ce n’est donc pas à ce niveau que la compétitivité d’une université s’exprime.

      Les Etats-Unis attirent effectivement les meilleurs ; où est le mal ? Ils auraient tord de s’en priver et nul doute que si la France était dans leur position, elle ferait de même. C’est d’ailleurs ce qu’elle fait dans la sphère francophone : les meilleurs étudiants francophones, notamment africains, viennent en France pour étudier et la plupart ne retournent pas travailler dans leur pays mais restent en France, privant ainsi leur pays de jeunes diplômés compétents qui pourrait être fort utile pour contribuer à son développement. L’impérialisme mondial des Etats-Unis est reproduit quasiment à l’identique par la France à plus petite échelle ; nous sommes donc mal placés pour donner des leçons aux américains de ce point de vue.

      D’une manière générale, si on veut attirer les meilleurs (profs et étudiants), quelle que soit la langue d’enseignement, il faut s’en donner les moyens et proposer de meilleures conditions de travail que les autres pays. La France en est très loin, entre les salaires offerts ridiculement bas, l’absence totale de mécanisme incitatifs pour les enseignants-chercheurs qui les conduit à pantoufler tout au long de leur carrière, le peu de moyens dont dispose les labos dû au refus irrationnel de tout financement de la recherche par les entreprises et enfin les conditions d’accueil déplorables des étudiants. Le classement dont parle l’article est assez révélateur de tout ceci, je trouve.


    • Krokodilo Krokodilo 7 août 2008 16:24

      Il ne s’agit pas de leur donner des leçons, mais de ne pas penser qu’en reconnaissant l’anglais comme lingua franca de l’UE, en finançant la télé French24, en organisant des cursus anglophones dans les facs, on rattrapera notre retard sur les USA. Il faut simplement que les pays francophones coopèrent et luttent réellement pour soutenir leur langue.
      Pour le reste, cette fois je suis assez d’accord avec vous.


  • geo63 7 août 2008 17:26

    L’article me paraît équilibré et il présente parfaitement les critères pris en compte dans ce désormais fameux classement de Shangaï.
    Parmi les éléments qui font que l’Université Française est mal classée il y a pour moi un point important, vaguement mentionné, mais qui entre en ligne de compte beaucoup plus qu’il n’y paraît dans l’estimation globale : c’est l’éparpillement de notre sytème. Il y a bien sûr d’abord cette dualité irréversible Ecoles d’Ingénieurs (innombrables depuis les très grandes jusqu’aux très petites...) - Universités (85 répertoriées) avec des activités de recherche disparates (surtout dans les Ecoles). A ma connaissance certaines de celles-ci sont analysées à part dans le classement (c’est vrai pour l’X, l’ENS , les Mines, notamment). C’est un premier point qui complique sans doute beaucoup l’évaluation des "experts" de Shangaï. Comment prennent-ils en compte les interactions fortes Ecoles-Universités ? Exemples : X et Paris XI, ENS et Paris VI....D’une façon générale comment sont-ils capables de naviguer dans cette extraordinaire toile d’araignée.
    Deuxième point peu évoqué : la dissémination des IUT et des "antennes universitaires" dans des petites, voire très petites villes qui correspondent à la volonté d’un potentat politique local à un instant donné. Cette situation est particulièrement préjudiciable aux enseignants-chercheurs (Pr et MCF) coupés géographiquement de la recherche... et cela en fait du potentiel perdu !!
    Personnellemnent j’aurais souhaité que cette situation soit discutée (et bien d’autres choses) avant de promulguer hâtivement la LRU qui donne plus de pouvoir aux Présidents, pour quoi faire ??


  • garat 7 août 2008 21:32

    Je voulais juste signaler qu’il existe un autre classement mis en place par les mines de Paris et qui comptabilisent lui le nombre de dirigeants.

    Vous trouverez cette étude ici :

    http://actualites.prepa-hec.org/wp-content/classement-mondial-universites-emp.pdf


  • Chem ASSAYAG Chem ASSAYAG 8 août 2008 15:22

    Je pense que le classement des Mines n’est pas très pertinent et a surtout pour objectif de montrer que la France (et singulièrement ses grandes écoles) sont bien placées. 
    En prenant en compte les #1 des grandes entreprises, donc des gens qui ont 25 ou 30 ans de carrière derrière eux, ce classement entérine au mieux la performance des insitutions 30 ans en arrière (voir par exemple l’ENA dans le top 10 !!!). En outre le critère retenu est très contestable (avec ce critère on verra par exemple apparaître d’obscures facs chinoises dans ce classement, ou encore il suffit qu’un manager deveienne PDG d’une grosse société pour que son insitution fasse un bon spectaculaire au classement. AInisi je n’ai rien contre l’Ecole Nationale Supérieure d’Electrotechnique, d’Electronique, d’Informatique, d’Hydraulique et des Télécommunications mais je doute qu’elle soit la 89eme instituion mondiale... le classement ets beaucoup trop dépendant de phénomènes indivudels).

    Cdt,

    Cdt,


  • Yves Rosenbaum Yves Rosenbaum 10 août 2008 12:12

    Excellente analyse en tout point, objective et claire ! Il paraît évident que le modèle anglo-saxon n’est pas que le modèle dominant en économie, il l’est aussi dans le domaine universitaire et de la recherche.


Réagir