Tests multiples et correction de la p-value

Retour à la science

Comme mentionné dans l’article d’introduction aux p-values, fixer une limite en dessous de laquelle une p-value est considérée comme significative revient à fixer la probabilité d’observer ces données lorsque la réalité de l’univers est « normale » (c’est-à-dire sous l’hypothèse nulle). Cette limite est souvent fixée à 0,05. Observer un tel résultat (avec un seuil suffisamment strict) relèverait alors de la chance. Cependant, si vous appliquez les mêmes tests à l’ensemble des quelque 21 000 gènes du corps humain, vous vous retrouvez dans une situation analogue à celle de la loterie : la probabilité d’observer quelque chose « par hasard » plutôt qu’en raison d’un véritable effet, augmente fortement.

Autrement dit, le seuil de p-value que nous utilisons dans une expérience unique correspond au taux maximal de faux positifs que nous sommes prêts à accepter. Par convention, on accepte généralement un risque de 5 % de conclure qu’il se passe quelque chose alors que ce n’est pas le cas. Toutefois, si vous répétez suffisamment une expérience, ou si vous réalisez un grand nombre d’expériences similaires, cette probabilité de 5 % finit par se concrétiser, et plus vous répétez, plus cela devient probable. Cela peut vous conduire à publier des résultats erronés ou à perdre du temps à essayer de confirmer un effet qui n’existe pas.

Outils pour compenser cela

Ces méthodes sont facilement accessibles dans le langage R en utilisant la fonction p.adjust sur un vecteur, avec l’option correspondant à la méthode de correction souhaitée. Vous pouvez consulter la page de manuel.

• Bonferroni

La méthode de Bonferroni est la plus stricte : elle réduit fortement les risques de considérer à tort un résultat négatif comme positif. Cependant, elle peut aussi éliminer une part importante de vrais résultats positifs.

• Correction FDR

La correction FDR (False Discovery Rate) cherche à atteindre un compromis plus équilibré. En particulier, si vous avez de nombreuses p-values faibles, elles ne seront pas trop affectées.

Ces deux méthodes reposent sur des philosophies différentes : Bonferroni limite la proportion de résultats négatifs considérés à tort comme positifs, tandis que la FDR limite la proportion de résultats positifs qui sont en réalité faux. Le débat sur la meilleure méthode peut rapidement devenir complexe. Sachez simplement que les deux sont utilisables, mais qu’un FDR < 5 % et une p-value corrigée < 5 % ne signifient pas exactement la même chose, bien que les deux soient tout à fait acceptables dans vos articles scientifiques.

Pour une explication plus détaillée et mathématique sur les tests multiples et leur correction, je vous encourage à lire l’article suivant.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6099145/