La science invisible

Une partie immense du produit de la recherche scientifique mondiale est chaque année mise à la poubelle. L'assertion semblera excessive. Elle correspond pourtant au sort bien réel qui est fait aux résultats dits "négatifs", thème de l'émission de mardi.

Qu'est-ce qu'un résultat négatif ? Dans sa définition la plus large, c'est un résultat obtenu par un chercheur qui ne parvient pas au résultat escompté. Mais, remarque Marie-Emilia Herbet, conservatrice des bibliothèques à Lyon 1 et membre du projet DATAAC, cette expression générique peut désigner des situations assez différentes.

Polysémie

Mettons de côté les résultats négatifs dus à une erreur - de manip, par exemple. Le plus souvent, on parle de résultats négatifs dans les cas où une expérience ne valide pas l’hypothèse qu'elle veut vérifier. A l'évidence, de tels résultats méritent d’être partagés avec la communauté scientifique, ne serait-ce que pour éviter que la même étude soit menée par d’autres chercheurs en pure perte de temps.

C’est l’exemple donné par Pierre-Adrien Payard, maître de conférences en chimie à Lyon I. L’un de ses articles les plus cités détaille l’échec d’une manipulation chimique réalisée à l’échelon moléculaire. Comme il l’explique dans l'interview diffusée au cours du live : « les résultats négatifs des uns sont les résultats intéressants des autres ».

Les résultats négatifs peuvent aussi être des résultats « non concluants ». Bien que non satisfaisants, ils ne suffisent cependant pas à écarter définitivement une hypothèse, qui mériterait d’être explorée avec d’autres moyens ou sous un angle différent.

Autre variété : les résultats « dissidents », obtenus par un chercheur qui tente en vain de reproduire à l'identique une expérience menée par un de ses pairs. On rejoint là une autre problématique, celle de la reproductibilité de la science (voir le live consacré à ce thème ici).

Il serait possible d'affiner sans peine la typologie des résultats négatifs. Mais derrière la variété des cas de figure, un même problème se pose, décrit dès 1975 par le psychologue Robert Rosenthal en une expression : le « file drawer problem ». Pour faire simple, les chercheurs sont très réticents à faire connaitre des résultats qu'ils tiennent pour des échecs, et préfèrent les enfouir au fond d'un tiroir.

Les choses ont-elles changé aujourd'hui avec le développement de la science ouverte ? Pas sûr. Dans l'enquête récente de DATAAC sur ce sujet, une très grande majorité des chercheurs sondés se déclarent disposés à publier leurs résultats négatifs pertinents et souhaiteraient accéder à ce type de données. Pourtant, la même enquête révèle que seuls 12% de ces chercheurs avaient publié des résultats négatifs dans un journal à comité de lecture.

Pourquoi un tel décalage ? La réponse est peut-être à regarder en partie du côté de la culture hyper-compétitive de la recherche. Partager ses résultats non concluants, c'est par exemple s'exposer, dans l'esprit de nombreux chercheurs, à se faire "voler" un sujet de recherche par un autre chercheur mieux doté.

Or, observe Sylvain Chabé-Ferret, chercheur en économie à INRAE, cette invisibilisation d'une partie de la science conduit à biaiser les données de champs de recherche entiers. Ce qui peut avoir des effets dramatiques, notamment lorsque ces études fondent des politiques publiques dans les domaines sociaux ou environnementaux. Sous réserve qu'un certain nombre de garde-fous encadrent la diffusion de tels résultats - et éviter notamment la propagation de faux négatifs - la mise en visibilité de cette science des tiroirs paraît capitale.

Espaces de publication

Se pose encore la question de savoir dans quels espaces la partager. Car les revues scientifiques carburent à la nouveauté. Pour la plupart d’entre elles, entre l’article qui présente une découverte, même minime, et celui qui relate l’échec d’une expérience, le choix est vite fait.

Quelques éditeurs ont bien essayé de jouer le jeu, c’est vrai. C’est par exemple le cas de Plos One. Depuis 2006, ce journal en open access a l’ambition de partager toutes les recherches menées dans les règles de l’art, sans prime au scoop scientifique. Dans cet esprit, comme l’explique Yann Benétreau-Dupin, la collection « The Missing Pieces » a été créée en 2015 pour mettre en visibilité quelques résultats négatifs particulièrement intéressants. Mais cette collection ne semble pas très conséquente. D’ailleurs Plos One ne communique pas sur le nombre total d’études présentant des résultats négatifs parues sur son site. Surtout, cette initiative reste marginale : si l’on excepte quelques hors-séries ici et là, les revues et journaux des grands éditeurs privés n'ont pas emboité le pas.

Alors ? Où publier ses résultats négatifs ? Plusieurs revues, le plus souvent thématiques, ont été créées ces dernières années pour les accueillir. C’est le cas de Negative Results. Ce journal, créé par des chercheurs français en sciences du vivant, a été reçu fraichement par la communauté scientifique et n'a pu se développer comme l'auraient souhaité ses fondateurs.

L'un d'entre eux, Rémi Thomasson, explique que l’association éditrice est devenue un outil de sensibilisation des chercheurs à ces enjeux. Autre exemple, The Journal of Trial and Error, pluridisciplinaire, s’est lancé dans l’aventure. Selon Valentine Delrue, doctorante en histoire des sciences à l’Université de Gand, le but est de « réduire l'écart entre les recherches qui sont faites et celles qui sont publiées ».

Solutions nouvelles

Aux côtés de ces journaux, des initiatives diverses fleurissent. Gilmary Gallon et Estelle Rascol préparent ainsi la sortie de Gaffex, (Gathering of Fondamental Failed Experiments) une plateforme ouverte dédiée aux expériences « ratées ». Les créateurs de Gaffex promettent que l'on n'y retrouvera que de vrais résultats négatifs, à l'aide d'un peer-reviewing communautaire qui filtrera les faux négatifs. Le projet, annoncé en 2019, doit donner lieu à une première version avant la fin 2022.

De son côté, René Bernard, responsable de l’open science au centre Berlinois Neurocure, propose, avec l’application Fiddle, d’aider les chercheurs détenteurs de données non concluantes à trouver les options de publication les mieux adaptées à leurs travaux. René Bernard fonde aussi beaucoup d’espoirs sur l'utilisation croissante des preprints, où de telles données négatives peuvent être diffusées. Les registered reports sont également une option de plus en plus sérieuse.

Pour partager les résultats négatifs, on peut aussi préférer recourir à des outils existants. Pourquoi pas Github ? C’est l’idée de Sylvain Chabé-Ferret avec le dépôt SKY, dans lequel chaque chercheur en sciences sociales peut téléverser son cahier de laboratoire.

Mais pour lui comme pour d’autres, la publicité des résultats négatifs ne deviendra réalité que lorsque les organismes de recherche et les agences de financement la rendront obligatoire. C’est une exigence notamment éthique, estime Rémi Thomasson, dans tous les cas où les résultats procèdent d’expériences faites sur des animaux. Et, de façon générale, n’est-on pas en droit de demander à des scientifiques travaillant sur fonds publics de publier tous leurs résultats, quand bien même ceux-ci paraitraient à première vue décevants ?

Voilà qui présuppose sans doute une autre culture de la recherche scientifique, dans laquelle excellence rimerait un peu plus avec transparence.

Retrouvez le live en intégralité ici.