Par Jo Moreau

« Examen par les pairs » (peer review) : déontologie et   fraudes chez les chercheurs scientifiques[1]

Résumé : Pour qu’une publication scientifique fasse autorité, et donc que les chercheurs ambitionnent d’y être publiés, la garantie offerte aujourd’hui est que les articles soient lus et approuvés par plusieurs savants réputés dans la spécialité concernée. C’est le principe dit de l’ « examen par les pairs », en anglais peer review. Les « pairs » (en anglais  peer ) chargés de revoir les articles restent anonymes. Ce système donne confiance au public. Malheureusement, la nature humaine restant ce qu’elle est, même chez les scientifiques, de nombreux « effets secondaires » se produisent, si bien que le système est de plus en plus contesté, y compris par des chercheurs de grande notoriété (qui n’ont donc aucun besoin de l’approbation de ces comités de « pairs » pour publier et donc pour obtenir des fonds publics ou privés pour leurs recherches).

Quatre Évangiles sont reconnus et retenus parmi les textes du Nouveau Testament : ceux de Matthieu, Marc, Luc et Jean. La Bible est donc le résultat d’une sélection de textes, retenus comme écrits de référence par les communautés chrétiennes, tandis que d‘autres ont été rejetés, notamment l’Évangile de Pierre ou encore l’Évangile de Thomas. Le principe de l’ « examen par les pairs » (peer reviewed) avait vu le jour…

Quel est le principe de fonctionnement de cet « examen par les pairs » ?

Nous avons déjà pu apprécier à quel point la publication d’un article dans une revue scientifique pratiquant ce genre d’examen constitue, pour certains esprits, le sommet et même la condition absolue pour se voir accorder l’autorisation d’émettre un avis sur un sujet donné (dans notre cas : le réchauffement, pardon ! les changements climatiques).

Mais, attention,  il ne s’agit pas de n’importe quelle publication pratiquant l’examen susnommé ! Pour nos sourcilleux censeurs de la pensée scientifique, encore faut-il que cette revue réponde à certains critères.

Voici comment cela fonctionne. Le scientifique (ou le groupe de scientifiques) soumet son étude à l’éditeur de la revue qu‘il aura choisie. Cet éditeur transmet alors le texte à des évaluateurs, experts dans la matière traitée, qui font partie de son comité de relecture : ce sont les fameux « pairs ». Le nombre de relecteurs et les critères qu’ils doivent respecter varient selon les revues. Cela va de deux experts, départagés par un troisième si leurs avis sont divergents, à l’ensemble des chercheurs de la branche concernée pour certaines autres revues.

Ceux-ci ont pour mission de juger la qualité scientifique de l’article et la validité méthodologique de la démonstration exposée. En fonction de leur avis, l’article sera alors accepté ou rejeté, quoique l‘éditeur conserve la décision définitive. Il restera à l’heureux auteur élu à régler la participation financière réclamée par la revue pour la publication de son étude, et à attendre patiemment celle-ci. Car le processus peut prendre de trois mois à plusieurs années.

Alors, tout serait-il pour le mieux dans le meilleur des mondes scientifiques ?

Eh bien, beaucoup de scientifiques et non des moindres ne sont pas de cet avis. Un des plus récents n’est autre que Randy W. Schekman, prix Nobel de Médecine 2013.

Fig. 1. Randy Schekman (au centre) lors de la cérémonie de remise du Prix Nobel à Stockholm. (Photo : The Guardian)

Il déclare que son équipe n’enverra plus de document de recherche à Nature, Science ou Cell dans la mesure où ces revues à comité de relecture faussent le processus scientifique et constituent une tyrannie qui doit être brisée[2].

Il accuse ces revues de sélectionner les études qu’elles publient, par exemple en fonction du fait que ces articles « représentent la bonne science, ou parce qu’ils sont provocateurs ». D’autres chercheurs de son laboratoire émettent un avis semblable, mais reconnaissent que, sans ces articles, ils auraient des problèmes pour ouvrir les bonnes portes dans leur carrière future, ou pour l’obtention de crédits de recherche.

Pierre Marage, vice-recteur à l’Université Libre de Bruxelles et Vincent Yzerbyt, son équivalent à l’Université Catholique de Louvain, ainsi que Nicolas Tajjedine également de l’ICL, ne disent pas autre chose quant à leur importance.

« Publier ? C’est ça qui assure les carrières scientifiques. Et à tous les niveaux d’ailleurs. Pour un jeune, publier est essentiel parce que cela lui permet d’enrichir son CV, de poursuivre une carrière, d’être reconnu par ses pairs. Pour quelqu’un de plus expérimenté, c’est le principal critère pour obtenir des financements et faire prospérer son laboratoire. […] À partir du moment où vous travaillez dans une institution publique, c’est de l’argent de la collectivité dont il est question. Il est donc légitime qu’à un moment donné, les pouvoirs financeurs puissent contrôler ce qui se fait et attendre des résultats. On peut difficilement donner à des chercheurs des masses d’argent gigantesques sans attendre un retour sur investissement[3]. »

On mesure immédiatement la pression qui pèse sur les épaules des chercheurs, et le pouvoir écrasant qui se trouve dans les mains d’un éditeur de revue scientifique.

En fait, qui sont ces « pairs » ?

Dans le Journal of the Royal Society of Medecine, Richard Smith tente d’apporter une réponse et celle-ci est édifiante. J’en extrais le paragraphe suivant :

« Ce peut être quelqu’un qui fait exactement le même type de recherche que l‘auteur, et est dans ce cas un concurrent direct. Un expert issu de la même discipline ? Un expert sur la méthodologie ? Ou alors un expert consciencieux, qui vous demandera les données brutes, qui refera les analyses et vérifiera les références pour vous suggérer éventuellement des améliorations sur votre texte ? Inutile de préciser qu’une expertise semblable est extrêmement rare… Nous avons peu de données quant à l’efficacité réelle du processus, mais nous avons la preuve de ses défauts. En plus d’être peu efficace pour la détection de défauts graves et presque inutile pour la détection des fraudes, il est lent, coûteux, distrait le chercheur de son laboratoire, est très subjectif, tient de la loterie et peut facilement abuser. Vous soumettez une étude pour un journal. Elle entre dans un système qui est en fait une boîte noire, puis une réponse plus ou moins justifiée sort à l’autre extrémité. La boîte noire est comme la roulette, et les profits et pertes peuvent être grands. Pour un universitaire, une publication dans un journal important comme Nature ou Cell équivaut à toucher le “  gros lot ” (jackpot)[4]. »

Richard Horton, rédacteur en chef de la revue britannique The Lancet, a déclaré de son côté que « les éditeurs et les scientifiques insistent sur l’importance cruciale de l’évaluation par les pairs. Nous la dépeignons au public comme si c’était un processus quasi-sacré, qui aide à faire de la science notre accès le plus objectif à la vérité. Mais nous savons que le système d’évaluation par les pairs est biaisé, injuste, non fiable, incomplet, facilement truqué, souvent insultant, souvent ignare, parfois bête et souvent erroné. »

Fichtre !

L’« examen par les pairs » (peer review) n’est pas une garantie contre la manipulation ou la fraude.

Je ne reviendrai pas sur le récent cas « Seralini », dont l’étude sur la toxicité des OGM vient d’être retirée de la revue Food and Chemical Toxicology[5].

La controverse qui l’accompagne démontre à suffisance toute l’influence idéologique et politique qui transparaît dans la discussion scientifique et risque de la polluer, de quelque bord qu’elle provienne d’ailleurs.

            De nombreux cas de fraudes ont été, eux, clairement établis, et je ne citerai que celle commise par Diederick Stapel, chercheur et professeur à l’université de Tilburg, lequel, pendant une dizaine d’années, a publié plus de 137 articles dans des revues à relecture, dont 55 au minimum contiennent des données inventées ou falsifiées[6].

Dans le domaine climatique, que nous a appris le « Climategate » ?

En 1999, la divulgation de courriels échangés entre des chercheurs du Climatic Research Unit (CRU), grand pourvoyeur de données au GIEC, a brièvement secoué le monde scientifique avant d’être enfoui dans un silence confortable. Les chercheurs incriminés furent ensuite blanchis par une commission du Parlement britannique.

     Voici quelques phrases relevées dans certains de ces courriels :

« Je ne veux voir aucun de ces papiers repris dans le prochain rapport du GIEC. Kevin et moi les écarterons, même si nous devons redéfinir ce qu’est la littérature peer-review[7]. »

« C’est le danger de toujours reprocher aux sceptiques de ne pas publier dans la littérature examinée par des pairs (peer reviewed). De toute évidence, ils ont trouvé une solution à cela : infiltrer un journal. Alors, que faisons-nous à ce sujet ? Je pense que nous devons cesser de considérer Climate Research comme une revue à prendre en référence.

Nous devrions peut-être encourager nos collègues dans le milieu de la recherche climatique à ne plus prendre cette revue en considération. Nous devrions aussi attirer l’attention de nos collègues plus raisonnables qui actuellement siègent au comité de rédaction[8]… »

« Hans von Storch est en partie à blâmer (pour la publication d’articles sceptiques dans Climate Research). Cela encourage la publication d’inepties scientifiques. Nous devrions prendre contact avec les éditeurs et leur montrer que leur journal est perçu comme faisant de la désinformation. J’emploie le terme ’perçu’, que cela soit vrai ou non c‘est la perception à l’extérieur qui compte. Nous devrions pouvoir rassembler un groupe d’environ 50 scientifiques pour signer une telle lettre[9] . »

Dans une autre suite de courriels, les scientifiques du CRU réagissent à la parution d’un article de McIntyre dans Geophysical Research Letters, où ils expriment leurs préoccupations au vu des relations du rédacteur en chef du journal, James Saiers, avec l’université de Virginia (et probablement Pat Michaels). « Si Saiers est un sceptique, alors il doit être éjecté via les canaux officiels du Journal. » (Saiers a effectivement été évincé)[10].

Voilà qui doit permettre à chacun de se faire sa propre idée sur les pressions auxquelles sont soumis les éditeurs de journaux à comité de relecture. Et accessoirement sur la déontologie des champions de la Vraie Science du CRU. Et enfin sur l’opportunité de blanchir ces personnages comme l’a fait le Parlement britannique, qui – notons-le – avait à juger ses propres compatriotes agissant au sein de la prestigieuse université East Anglia.

D’autres anomalies…

Paul Brookes, professeur agrégé à l’université de Rochester-Medical Center, a prononcé l’évaluation la plus accablante, concentrant ses flèches sur Nature Publishing Group (NPG) :

« Vous pouvez avoir tous les poids lourds (scientifiques) de votre côté, mais si vous contestez quelque chose qui a paru dans un Journal du NPG, vous aurez d’abord à vous battre pour entr’ouvrir la porte, puis à livrer une bataille rangée pour obtenir que quelque chose soit publié.

NPG n’aime pas quand vous trouvez des erreurs qui auraient échappé à l’examen par les pairs[11]. »

Le professeur Brookes avait, sous pseudonyme, créé un site sur la Toile : science-fraud.org, qui avait pour but de dénoncer des documents suspects dans la littérature scientifique. En six mois, il avait répertorié environ 500 articles, et son site comptait plusieurs milliers de visiteurs quotidiens. Lorsque sa véritable identité fut découverte, des courriels furent envoyés aux scientifiques concernés pour les inciter à déposer plainte pour diffamation, qualifiant son site comme étant « un site de haine et constituant une menace pour la communauté scientifique (!) ». Cette dénonciation fut également envoyée à ses supérieurs académiques, aux éditeurs qui l’avaient publié ainsi qu’à ses collègues qui auraient aussi pu faire partie des « pairs examinateurs » (peers reviewers). Son site fut fermé à la suite de cette cabale.

Les relecteurs des revues scientifiques ont souvent encouragé des pratiques irrégulières ainsi qu’« une incitation à passer sous silence les résultats n’allant pas dans le bon sens ou les expériences n’ayant pas mis en évidence l’effet escompté, comme si cette absence de résultat n’était pas un résultat en soi !

Conclusion

Il n’était pas rare que les revues plaidassent fortement en faveur de sujets intéressants, élégants, concis et irrésistibles, sans doute aux dépens de la rigueur scientifique[12] ».

Alors, toutes les revues scientifiques sont-elles à mettre à la poubelle, et tous les relecteurs sont-ils pourris ? Évidemment non, et je m’en voudrais de suivre le même cheminement intellectuel qu’affectionnent les partisans du GIEC à l‘encontre de leurs contradicteurs. J’ai simplement voulu montrer les failles d’un système en définitive très humain, soumis à des pressions en tous genres, intellectuelles ou financières, auxquelles il est parfois difficile de résister.

Comme aurait pu dire Winston Churchill, c’est un mauvais système mais c’est le moins mauvais de tous. Il appartient aux scientifiques eux-mêmes d’apprécier la manière dont ils pourraient l’améliorer.

Je voulais aussi souligner le fait que publier dans une revue à comité de relecture ne constitue nullement une garantie de qualité ou de bien-fondé de la théorie présentée – combien de ces articles ne se sont-ils pas révélés obsolètes après un temps plus ou moins long – et, a contrario, que les arguments présentés en dehors de ce système ne sont certainement pas à rejeter sans plus de considération.

[1] Contrepoints, rubrique « sciences » du 2/02/2014)

[2] /theguardian.com/science/2013/dec09

[3]/lalibre.be/actu/belgique/les-dessous-de-la-fraude-scientifique-51b8fb1ee4b0de6db9ca2120

[4] JR Soc Med 2006 Apr ; 99(4) : 178-182

[5] Ndlr. Le Pr Séralini enseigne la biologie moléculaire à l’université de Caen. En septembre 2012, ses études avaient montré l’effet cancérogène sur des rats, au bout de 2 ans, du maïs OGM NK 603 et du Roundup (Food Chem Toxicol 2012, 50:4221–4231), ce qui ne pouvait rester sans réactions. Notons que, lors de  deux procès, le TGI de Paris a considéré les attaques contre Gilles-Éric Séralini comme de la diffamation.

[6]/passeurdesciences.blog.lemonde.fr/2012/12/09/le-scandale-stapel-ou-comment-un-homme-seul-a-dupe-le-systeme-scientifique/

[7] /consume.free.fr/climategate/1089318616.html

[8] /consume.free.fr/climategate/1047388489.html

[9] /consume.free.fr/climategate/1051190249.html

[10]/consume.free.fr/climategate/1106322460.html

[11] /timeshighereducation.com/search/features feature lets review peer review process 2003180 article

[12]/passeurdesciences.blog.lemonde.fr/2012/12/09/le-scandale-stapel-ou-comment-un-homme-seul-a-dupe-le-systeme-scientifique/