The Economist de cette semaine rapporte qu’une grande partie des études scientifiques qui prétendent prouver une corrélation entre un facteur et un effet (obésité, maladies), "ne valent rien".
Les erreurs tiennent au manque de rigueur des chercheurs non dans leur domaine de recherche propre, mais dans celui des statistiques et des probabilités.
En effet, quand les résultats d’une expérimentation semblent établir une corrélation, on les compare à la probabilité que ces résultats soient survenus par hasard.
Si cette probabilité est en-dessous d’un certain seuil, typiquement 5%, la convention est de déclarer la corrélation "réelle." Et il n’y a rien à redire à cela, à condition qu’une seule hypothèse ait été testée. Mais si 20 sont testées simultanément, alors une en moyenne sera acceptée comme provisoirement vraie, alors qu’elle ne l’est pas.
C’est un Dr Austin qui vient de lever ce lièvre, dans une étude présentée devant le grand colloque annuel des chercheurs américains. Pour démontrer par l’absurde les failles de la méthodologie courante, il s’est même amusé à "prouver", en utilisant le seuil de 5% sur de multiples corrélations, que les personnes nées sous le signe du Sagittaire avaient 38% plus de chances que les autres d’être admises aux urgences pour un bras fracturé !
Pourquoi ces questions sont-elles importantes, même pour des non-scientifiques ? Parce que beaucoup des études reprises dans les médias servent à appuyer des thèses subversives. On pense à celles qui indiqueraient ("prouveraient", à en croire le lobby gay) un lien entre tel gène et l’homosexualité – ce qui sert de fondement à l’assimilation entre l’ "homophobie" (traduire : l’opposition aux revendications gays) et le racisme.
On ferait bien de regarder à l’avenir ce type d’études d’un peu plus près…
Anonyme
Aux Etats-Unis, de nombreuses associations gays soutiennent effectivement les recherches sur une éventuelle origine génétique de l’homosexualité.
Ce qui n’a rien d’anodin, puisque toutes les enquêtes d’opinion montrent que les Américains sont plus “tolérants” sur la question des droits des gays s’ils pensent que l’homosexualité est un phénomène génétique.
Mais je ne crois pas qu’on puisse observer le même phénomène en France, et de façon générale en Europe, où les associations gays ont plutôt tendance à considérer comme illégitimes toutes les questions relatives à la “cause” de l’homosexualité.
Anonyme
Nous observons le même phénomène avec le réchauffement climatique !
Sophrone
J’ai déjà vu, également, des scientifiques s’interroger sur la pertinence du facteur p lui-même, facteur couramment utilisé dans les études, notamment dans le domaine médical.
L’habitude est de dire qu’une corrélation entre deux variables dépasse la règle du simple hasard, lorsque le facteur p atteint ou “dépasse” 0.05. Or j’ai lu, sous la plume d’éminents statisticiens, que ce chiffre de 0.05 était, en réalité, purement arbitraire.
Si cette remarque est vraie, c’est alors une grande partie de la science actuelle qui vacille sur ses fondements.
gégé
S’il est bien de dénoncer les biais méthodologiques des études, s’il est bien de dénoncer les limites de leurs interprétations, il est bien aussi de savoir analyser aussi les conclusions qui sont tirées de ces études….
Ainsi même s’il existe un lien statistique entre telle chose et telle autre, cela a-t-il réellement la signification qui est proclamée (par les médias). C’est souvent que des études sont annoncées comme prouvant telle ou telle chose, alors que la chose en question n’est sont que le résultat de conclusions tirées à partir des conclusions de l’étude, mais la chose en question n’en fait pas pour autant partie !
Ainsi si une étude montre que les grands signes sont majoritairement polygamme (exemple bidon, car je n’en sais absolument rien), ce n’est pas pour autant que l’on doive dire : donc l’homme doit être polygamme, la monogammie étant ainsi prouvée contre nature.
Cet exemple est hélas à peine caricatural !
Vince
Je suis en école d’ingénieur, et je peux vous assurer que la technique est su des “savants”. En effet, il n’y a pas d’autres manière de faire l’étude qui au sens statistique (attention, rien à voir avec la réalité) reste et est bonne et juste. Le problème provient surtout d’une ambiguité délirante dans les termes usités pour les dites-études, et que bon nombre de sombres individus interpretent. Hors, la science, ca ne s’interprète pas. (dommage heing :p )
Enfin, pour qui a du bon sens,
*****************************************************************
le “scientifiquement prouvé” est innaceptable tant qu’on n’a pas compris soit même la preuve.
*****************************************************************
Et comme la météo j’y capte rien, le réchauffement climatique … :p
[Réponse de HV : et moi, je ne connais rien aux sciences ! – mais je sais à quelles sources d’information je fais plus confiance qu’à d’autres – et je fais assez confiance à The Economist quand il rapporte ce problème.
Autre contribution sur le même thème général :
http://planetgore.nationalreview.com/post/?q=NjJjMzBkYTE3ZmZkMzAzYTMzMGM3YWJmOWNkMjc0ZGI= ]
Vince
Eh, je n’ai pas dit que l’info était biscornue! Elle est même archi-vraie ! Mais ce n’est pas les “savants” qu’il faut remettre en doute.
Et pour ce qui est d’une “nouvelle”, par contre … ma prof de stat nous le pécise très clairement cette erreure, et nous dit bien de manier ce passage délicatement.
Enfin, ceci dit, quand ces lois sont bien utilisés, elles arrivent à faire des choses grandes et impressionnantes: la bourse, l’assurance, la banque …
Philippe
Je suis pour ma part économiste, et c’est la première chose qu’on apprend en étudiant les “séries temporelles” (données fluctuant dans le temps). Comme le souligne notre ami ingénieur, ce n’est pas une nouveauté ), sauf pour la génération qui a étudié avant les années 1980 et ne s’est pas mise à jour(ce fut souligné par Cleve et Granger dans les années 1970-80 à l’époque où on trouvait des corrélations entre le nombre d’hommes travaillant dans le textile en Afrique du Sud et les exportations américaines ; par ailleurs ils ont été récompensés du prix Nobel).
Remarques.
1. Oui, le seuil de 5% est totalement arbitraire, mais pas un absolu. Chacun peut fixer la limite qui lui semble pertinente.
2. Le type de correlation que vous évoquez est une “spurious regression” (désolé pour l’anglicisme). Certains tests permettent tout de même d’éliminer cette correlation fallacieuse (mais on reste dans l’interprétation).