Suite à plusieurs commentaires à “Laurent 1er et la méthode Coué“, une nouvelle chronique sur Shanghaï et ses critères de classement. Merci à Philippe, Joël, Luigi et François d’avoir ouvert un débat technique et politique. Le site du classement : “Academic Ranking of World Universities“. Rappelons qu’il s’agit du 9ème classement et qu’il concerne essentiellement le champ des sciences “dures”. Pourquoi ce champ est-il classé selon deux nomenclatures ? 1. Sciences, Ingénierie, Sciences de la Vie, Médecine, Sciences sociales ; 2. Mathématiques, Physique, Chimie, Informatique, Economie.
La méthodologie, les définitions des critères, les pondérations. Tout paraît transparent. Mais Luigi et François notent que, quand on cherche à entrer dans la méthodologie fine, on se heurte à un mur de non explication. Rentrerait-on alors dans l’arrière cuisine du classement, celle qu’il faut cacher ? Six critères de classement sont pris en compte. Les 5 premiers se fondent sur des chiffres absolus. 1 et 2 : les récompenses (pondération : 30%) 1. Nombre de diplômés de l’université qui ont obtenu un prix Nobel ou une médaille Fields ; c’est donc d’abord l’université de “diplômation” qui est classée. 2. Nombre de prix Nobel ou de médailles Fields gagnés par l’université ; c’est cette fois l’université d’exercice de l’enseignant ou du chercheur récompensé qui est classée.
3, 4 et 5. Publications et citations (pondération : 60%). 3. Nombre d’enseignants et de chercheurs les plus cités (prise en compte de 21 sujets scientifiques). 4. Nombre de “papiers” publiés dans Nature ou Science. 5. Nombre de papiers cités dans Science Citation Index Expanded et Social Science Citation Index.
Le 6ème indicateur est tout à fait pertinent car il réfère la performance observée par les critères 1 à 5 au nombre d’enseignants et de chercheurs de l’Institution. La performance devient une performance per capita. Mais le critère 6 ne compte que pour 10% dans la note globale. Ce qui est peu, trop peu. Il me paraîtrait plus correct que le poids de ce critère 6 soit au moins égal à un tiers. En effet, la prise en compte de données absolues (critères 1 à 5) peut inciter les institutions à fusionner pour maximiser leur potentiel humain et donc leurs chances d’être classées dans les critères.
La stratégie de l’effet “masse” est mise en oeuvre par la France et c’est le souhait de Laurent Wauquiez de le rechercher. Joël l’observe : “ce classement est néanmoins utilisé par tous, et surtout par les politiques: Valérie Pécresse l’utilisait afin de montrer que les universités françaises étaient médiocres et qu’il fallait réformer (par la LRU), Laurent Wauquiez l’utilise comme satisfecit, avec pas plus de raisons” !
Philippe Jacqué s’interroge sur son blog Le Monde : “La France peut-elle s’améliorer au classement de Shanghaï… Coopérer ou fusionner” ? Le journaliste démontre très bien que si Shanghaï acceptait de prendre en compte les performances des établissements coopérant au sein d’un PRES, la France pourrait en classer quatre dans le top 100. Pas de chance ! Les auteurs du classement - et ils ont raison - ne veulent pas prendre en compte les PRES mais seulement les PRES qui ont la ferme intention de fusionner rapidement (Aix Marseille University et Université de Lorraine apparaissent donc dans le classement 2011).
Le cas de l’université de Toulouse 3 Paul Sabatier. “Toulouse 3 a gagné 53 places de 278 à 225, c’est un bon exemple de progrès dans les zones moins regardées du classement“ (Laurent Wauquiez). Le commentaire de Philippe : “je soupçonne les chiffres du ministère d’être corrects, et devine que Toulouse 3 était classée à peu près 296° en 2009… mais a beaucoup reculé par rapport à 2003 où elle était à peu près 198°, ce qui illustre bien la démarche qui consiste à choisir soigneusement les chiffres qui arrangent pour justifier son discours“. Effectivement : le graphique sur le site de Shanghaï.
Luigi confirme et s’interroge. “Le classement de chaque institution est en fait donné - implicitement - dans un recoin obscur du site de Shanghaï (le “code source” de la page décrivant l’institution concernée, avec le graphique). On peut d’ailleurs se demander pourquoi Shanghaï ne publie pas carrément ce classement exact (au lieu de faire des paquets “102-150″, “151-200″, “201-300″, “301-400″, “401-500″, chacun trié par ordre alphabétique). Peut-être Shanghaï considère-t-il que les écarts de note ne sont pas suffisamment significatifs à l’intérieur d’un paquet pour justifier un classement plus fin” ?
Je partage totalement l’interrogation de Luigi. Shanghaï ne peut publier décemment que des “paquets” car, entre la 100ème et la 500ème place du classement, les “notes” sur 100 sont inférieures à un total de 24,2, soit un possible écart moyen de 0,06 point seulement entre chacun des 400 établissements. Sans doute même moins, car il serait bizarre que les établissements classés entre 400 et 500 aient une note globale inférieure à 5 sur 100 ! Un établissement qui aurait la note 15 serait-il “plus excellent” qu’un établissement que n’aurait que 14,94 ?
Petite touche finale moqueuse. Par méthodologie (nombre de critères et poids de chacune des critères), l’université qui arrive en tête (Harvard) est dotée de 100 points (le classement). En 2ème position, Standford n’obtient que 72,6 points. L’écart est énorme. Très vite dans le classement, le nombre de points diminue. Dès la 15ème place, le score devient inférieur à 50 ; dès la 29ème, il est en-dessous de 40 et, dès la 61ème, en-dessous de 30. Paris Sud et Pierre et Marie Curie (40 et 41èmes) n’obtiennent qu’un peu plus de 30 sur 100. Seraient-elles trois fois moins excellentes qu’Harvard ? Bref, les écarts très importants de notes sur 100 entre les 100 premiers établissements classés me semblent poser un problème méthodologique important. Poursuivre le débat !
Dimanche, août 21st, 2011 at 14:34
http://blog.educpros.fr/pierredubois/2011/08/21/criteres-de-shanghai-le-debat/
La méthodologie, les définitions des critères, les pondérations. Tout paraît transparent. Mais Luigi et François notent que, quand on cherche à entrer dans la méthodologie fine, on se heurte à un mur de non explication. Rentrerait-on alors dans l’arrière cuisine du classement, celle qu’il faut cacher ? Six critères de classement sont pris en compte. Les 5 premiers se fondent sur des chiffres absolus. 1 et 2 : les récompenses (pondération : 30%) 1. Nombre de diplômés de l’université qui ont obtenu un prix Nobel ou une médaille Fields ; c’est donc d’abord l’université de “diplômation” qui est classée. 2. Nombre de prix Nobel ou de médailles Fields gagnés par l’université ; c’est cette fois l’université d’exercice de l’enseignant ou du chercheur récompensé qui est classée.
3, 4 et 5. Publications et citations (pondération : 60%). 3. Nombre d’enseignants et de chercheurs les plus cités (prise en compte de 21 sujets scientifiques). 4. Nombre de “papiers” publiés dans Nature ou Science. 5. Nombre de papiers cités dans Science Citation Index Expanded et Social Science Citation Index.
Le 6ème indicateur est tout à fait pertinent car il réfère la performance observée par les critères 1 à 5 au nombre d’enseignants et de chercheurs de l’Institution. La performance devient une performance per capita. Mais le critère 6 ne compte que pour 10% dans la note globale. Ce qui est peu, trop peu. Il me paraîtrait plus correct que le poids de ce critère 6 soit au moins égal à un tiers. En effet, la prise en compte de données absolues (critères 1 à 5) peut inciter les institutions à fusionner pour maximiser leur potentiel humain et donc leurs chances d’être classées dans les critères.
La stratégie de l’effet “masse” est mise en oeuvre par la France et c’est le souhait de Laurent Wauquiez de le rechercher. Joël l’observe : “ce classement est néanmoins utilisé par tous, et surtout par les politiques: Valérie Pécresse l’utilisait afin de montrer que les universités françaises étaient médiocres et qu’il fallait réformer (par la LRU), Laurent Wauquiez l’utilise comme satisfecit, avec pas plus de raisons” !
Philippe Jacqué s’interroge sur son blog Le Monde : “La France peut-elle s’améliorer au classement de Shanghaï… Coopérer ou fusionner” ? Le journaliste démontre très bien que si Shanghaï acceptait de prendre en compte les performances des établissements coopérant au sein d’un PRES, la France pourrait en classer quatre dans le top 100. Pas de chance ! Les auteurs du classement - et ils ont raison - ne veulent pas prendre en compte les PRES mais seulement les PRES qui ont la ferme intention de fusionner rapidement (Aix Marseille University et Université de Lorraine apparaissent donc dans le classement 2011).
Le cas de l’université de Toulouse 3 Paul Sabatier. “Toulouse 3 a gagné 53 places de 278 à 225, c’est un bon exemple de progrès dans les zones moins regardées du classement“ (Laurent Wauquiez). Le commentaire de Philippe : “je soupçonne les chiffres du ministère d’être corrects, et devine que Toulouse 3 était classée à peu près 296° en 2009… mais a beaucoup reculé par rapport à 2003 où elle était à peu près 198°, ce qui illustre bien la démarche qui consiste à choisir soigneusement les chiffres qui arrangent pour justifier son discours“. Effectivement : le graphique sur le site de Shanghaï.
Luigi confirme et s’interroge. “Le classement de chaque institution est en fait donné - implicitement - dans un recoin obscur du site de Shanghaï (le “code source” de la page décrivant l’institution concernée, avec le graphique). On peut d’ailleurs se demander pourquoi Shanghaï ne publie pas carrément ce classement exact (au lieu de faire des paquets “102-150″, “151-200″, “201-300″, “301-400″, “401-500″, chacun trié par ordre alphabétique). Peut-être Shanghaï considère-t-il que les écarts de note ne sont pas suffisamment significatifs à l’intérieur d’un paquet pour justifier un classement plus fin” ?
Je partage totalement l’interrogation de Luigi. Shanghaï ne peut publier décemment que des “paquets” car, entre la 100ème et la 500ème place du classement, les “notes” sur 100 sont inférieures à un total de 24,2, soit un possible écart moyen de 0,06 point seulement entre chacun des 400 établissements. Sans doute même moins, car il serait bizarre que les établissements classés entre 400 et 500 aient une note globale inférieure à 5 sur 100 ! Un établissement qui aurait la note 15 serait-il “plus excellent” qu’un établissement que n’aurait que 14,94 ?
Petite touche finale moqueuse. Par méthodologie (nombre de critères et poids de chacune des critères), l’université qui arrive en tête (Harvard) est dotée de 100 points (le classement). En 2ème position, Standford n’obtient que 72,6 points. L’écart est énorme. Très vite dans le classement, le nombre de points diminue. Dès la 15ème place, le score devient inférieur à 50 ; dès la 29ème, il est en-dessous de 40 et, dès la 61ème, en-dessous de 30. Paris Sud et Pierre et Marie Curie (40 et 41èmes) n’obtiennent qu’un peu plus de 30 sur 100. Seraient-elles trois fois moins excellentes qu’Harvard ? Bref, les écarts très importants de notes sur 100 entre les 100 premiers établissements classés me semblent poser un problème méthodologique important. Poursuivre le débat !
Dimanche, août 21st, 2011 at 14:34
http://blog.educpros.fr/pierredubois/2011/08/21/criteres-de-shanghai-le-debat/
Aucun commentaire:
Enregistrer un commentaire