L'indice h

De SCI1014
Sauter à la navigation Sauter à la recherche
Etoile1.pngEtoile1.pngCe DÉBUT d'article peut servir à l'activité A et l'activité D du cours SCI 1014. (ER)


Introduction

Les puissants outils informatiques disponibles aujourd'hui font que la collecte d'informations n'a jamais été aussi forte et cette pratique ne cesse de prendre de l'ampleur; allant des moteurs de recherche que nous utilisons tous les jours à tous les autres médias numériques qui nous entourent et avec lesquelles nous interagissons. Les recoupements que l'on fait de ces renseignements par des analyses statistiques pour en extraire des indices de consommation ou pour des fins de publicité ne sont que des exemples.

Le monde scientifique n'échappe pas à cette tendance même si les objectifs sont différents; de ce fait la volonté d'avoir des outils pour essayer de quantifier les citations d'un auteur ou de coauteurs dans les publications n'a cessé de faire réfléchir les évaluateurs à une solution par souci de complexité d'analyse des processus d'évaluation.

Objectifs

Jorge Eduardo Hirsch du département de physique de l'Université de Californie à San Diego a cherché à simplifier l'évaluation d'un chercheur ou d'un groupe de chercheurs sur ce plan des publications, en voyant ce besoin sur le terrain lors par exemple du recrutement de professeurs d'université, d'avancements, ou d'octroi de subventions. Cette évaluation semblait complexe vu le nombre de publications à consulter et des compétences requises des évaluateurs pour pouvoir rendre un avis juste.

Ce mode d'évaluation chiffré qu'Hirsch voulait établir, il le voulait aussi assez cartésien, non cruellement simple le réduisant à la somme de publications brutes sans aucune distinction de qualité. Il le voulait aussi un système non tributaire de variables liées aux différents évaluateurs de manière à renforcer l'impartialité surtout lorsqu'il y'a concurrence pour un sujet ou un poste offert.

Dès la concrétisation de son idée, l'auteur anticipait déjà à raison une résistance qu'il pouvait rencontrer en exprimant cette nouvelle voie d'évaluation.

Principes généraux

L'approche donc retenue par ce scientifique est l'indice h, ou indice d'Hirsch, qui est un indicateur visant à quantifier la productivité et l'impact de recherche scientifique d'un individu, fondé sur le nombre d'articles publiés et le nombre de citations obtenues par article publié. Cette nouvelle méthode d'évaluation de recherche fut proposée en 2005.[1]

Cet outil est fameux pour certains, mais ne l'est pas pour d'autres selon les points de vue, cet indice a été d'abord conçu pour évaluer la qualité relative des physiciens-théoriciens; l'auteur suggère que cet indice peut tout aussi bien servir aux autres disciplines scientifiques.

Hirsch affirme que le nombre d'articles publiés et cités pour un même auteur est une donnée informatique qui contient des informations très utiles pour connaître la productivité et l'impact d'un chercheur. Selon lui, la valeur h d'un chercheur serait plus représentative de sa qualité que le nombre de publications ou de citations considérées séparément.

Ainsi, dans sa forme originale, un chercheur obtient un indice h si h de ses articles ont été cités au moins h fois.[1] Dès lors, l'indice h reflète à la fois le nombre de publications et le nombre de citations par publication. Par exemple, pour obtenir un indice h de 10, un chercheur doit avoir au moins 10 articles cités au moins 10 fois chacun.

Hirsch en faisant son calcul a estimé avec une certaine réserve que pour les physiciens, une valeur de h comprise entre 10 et 12 correspond à un individu occupant un poste de chercheur dans une université renommée, qu'une valeur de h comprise entre 15 et 20 est celle d’un membre de l'American Physical Society, qu'une valeur h ≥ 18 est celle d'un professeur et qu'une valeur de h > 45 est celle des membres de l'Académie des Sciences américaine.[1][2]

Limites et critiques

Lorsque Hirsch a essayé d'appliquer son modèle à d'autres disciplines comme la biologie et les sciences biomédicales, même si les tendances générales semblaient être respectées, il a néanmoins remarqué que les indices étaient plus élevés qu'en physique.

Il s'est donc rendu à l'évidence que plus de recherches dans la compréhension des similitudes et des différences de distributions de l'indice h dans les différents domaines de la science seraient nécessaires, c'est ce que certains nomment le « type » des citations.

Ce dernier inconvénient même s'il l’avait évoqué dans son article, il fait partie des critiques soulevées de façon répétitive.

Par ailleurs, la formule d'Hirsch souffre particulièrement de sa dépendance des informations recueillies des bases de données, donc en fonction de la base de données utilisée les résultats peuvent être différents.[3]

Il est possible pour tout scientifique d'obtenir un calcul rapide de son indice h par l'entremise d'outils simples sur plusieurs sites, dont Google ScholarScopus et Web of Science.[4] En calculant l'indice h des citations de son propre créateur, il s'est avéré qu'il a lui-même un excellent score.[5]

Peter Jacso a corrélé les résultats d'indice h obtenu pour un auteur avec ces trois puissants outils (Google ScholarScopus et Web of Science) exploitant l'algorithme d'Hirsch et il a ainsi démontré que les options de sélections disponibles dans les logiciels des bases de données bibliométriques qui sont utilisés pour le calcul sont déterminantes dans la qualité des résultats obtenus.[6]

Selon Adrian Cho[7] l'indice h favorise les chercheurs qui produisent constamment des documents influents, mais il défavorise ceux qui publient de nombreux petits articles ou seulement quelques-uns qui sont le plus cités, alors qu’Henry Roediger[8] rapporte dans son évaluation qu'il y a des cas ou cet indice h sous-estime l'influence d'un chercheur, pour les membres supérieurs du National Academy of Sciences par exemple.

Cela peut s’expliquer en partie par les bases de données utilisées durant le calcul et par le fait que la formule d’Hirsch ne tient pas compte du nombre absolu de citations; c’est le cas notamment de certains chercheurs détenant des indices h semblables, mais ayant un impact extrêmement différent.[8]

Étant donné que dans l’utilisation de base de l’indice h les citations des livres sont ignorées, le calcul continue d’être valable pour certains domaines scientifiques, cependant pour d’autres secteurs comme la psychologie et l’histoire de nombreuses contributions importantes se produisent encore dans les livres, l’inclusion de ces derniers dans l’évaluation pourrait donner un indice diffèrent.

Un problème arrive aussi dans certains domaines de recherche comme en neurosciences lorsque certains coauteurs méritent plus de crédit que d’autres; une tradition est alors là pour respecter un certain ordre d’affichage (le premier et le dernier de la liste étant les plus méritants). Cette pondération de la contribution des auteurs n’est pas prise en compte dans le calcul d’Hirsch, ni dans le calcul des autres indices bibliométriques.

Un autre irritant dans l'utilisation de l'indice d'Hirsch est que la récence de citation n'est pas non plus prise en considération. Certains auteurs bien qu'ils aient arrêté de publier depuis plusieurs décennies, ils continuent d'être très bien notés.

Les étudiants et les jeunes chercheurs sont désavantagés par cette méthode d’évaluation étant donné que l'indice h d'un chercheur augmente avec l'âge, mais dépend aussi de la discipline de celui-ci.[9][8] Il est donc nécessaire de comparer les chercheurs à l'intérieur d'un même groupe d'âge et d'une même discipline.

Sur ce dernier point, il est à noter que les étudiants et les jeunes chercheurs, si l’on se réfère strictement au nombre de leurs publications dans l’ensemble, seraient souvent désavantagés, peu importe la manière utilisée pour les évaluer, sauf si l’on compare les candidats qui sont au même stade de leur carrière. Cet inconvénient fait donc partie de la normalité et n’est pas propre à l’indice d’Hirsch.

Conclusion

Rien qu’à voir l’abondance des articles qui ont été publiés en réaction au travail d’Hirsch de 2005, on conclut que cela n’a pas laissé la communauté scientifique indifférente, incluant les chercheurs canadiens qui ont confirmé ces aléas et observations auprès des institutions universitaires canadiennes.[10]

L'indice h comme on le constate est loin de faire l'unanimité entre ceux qui pensent que les évaluations bibliométriques individuelles sont truffées de défauts, présentant plus de dangers que d'avantages; ce qui pourrait donner des incitations aux chercheurs de négliger les recherches profondes et parfois difficiles à publier et peu lues à court terme, pour se concentrer sur des publications rapides dans des journaux à fort impact qui fera augmenter le nombre de leurs citations.[11]

Cette réticence vis-à-vis de son utilisation pour des évaluations individuelles n'est pas pour autant une raison de refuser toute utilisation de ce mode d'évaluation bien au contraire; dans certaines situations, il fournit des indications utiles, par exemple pour comparer les productions de départements dans une discipline donnée, ou comme complément à d'autres moyens d'évaluations standard. C'est un outil utile, mais d'utilisation délicate. Cela peut être un outil utile aussi pour contrôler a posteriori un ensemble d'évaluations individuelles, et identifier les cas où des dysfonctionnements majeurs se produisent.

Références

  1. a b et c Jorge E. Hirsch. « An index to quantify an individual's scientific research output », Proceedings of the National Academy of sciences of the United States of America, vol. 102 no. 46, 2005 [lire en ligne].
  2. Voir « Indice h », dans Wikipédia (consulté le 25 juillet 2015).
  3. Michael Schreiber, « Twenty Hirsch index variants and other indicators giving more or less preference to highly cited papers », Annalen der Physik, vol. 522, No 8, Aout 2010, p. 536 - 554 [lire en ligne].
  4. Laurence Bianchini, « Les indicateurs de l’évaluation de la recherche : de l’impact factor à l’h-index Limites et alternatives d'outils d'évaluation de la recherche scientifique », sur le blogue MyScienceWork, 7 mai 2012.
  5. Voir l'indice h de J. E. Hirsch dans le site L'Institut national de recherche en informatique et en automatique (INRIA) calculé à partir de l'outil de Google Scholar le 24 juillet 2015.
  6. Peter Jacso, « Testing the Calculation of a Realistic h-index in Google Scholar, Scopus, and Web of Science for F. W. Lancaster », Library Trends, vol. 56, No 4, 2008, p. 784 - 815 [lire en ligne].
  7. Adrian Cho, « Your Career in a Number », sur le site de l’American Association for the Advancement of Science (AAAS), 12 août 2005, (consulté le 25 juillet 2015).
  8. a b et c Henry L. Roediger, III., « The h index in science: A new measure of scholarly contribution ». The Academic Observer, vol. 19, no. 4, avril 2006 [lire en ligne].
  9. Frédérique Flamerie, « Facteur d’impact, h index, bibliométrie : pourquoi et comment? », sur le site Bibliothèque universitaire. Sorbonne Université, mise à jour 4 novembre 2014.
  10. Paul Jarvey, Alex Usher et Lori McElroy, « Making Research Count: Analyzing Canadian Academic Publishing Cultures », Toronto: Higher Education Strategy Associates, 2012.
  11. Jean-Marc Schlenker, « Les nouveaux dangers de la bibliométrie », sur le blogue de l'auteur, 30 janvier 2011 (consulté le 24 juillet 2015).