Erreurs médicales sur Wikipédia : un effet de boomerang ?

Depuis quelques jours, la presse française parle beaucoup d'une nouvelle étude américaine sur la fiabilité de Wikipédia. Le sujet est grave et le constat sans appel : sur 10 articles consacrés à des problèmes de santé majeurs, 9 sont entachés d'erreur. Or, médecins et patients se réfèrent fréquemment à Wikipédia : l'encyclopédie participative nuirait-elle à la santé publique?

Ces conclusions contrastent avec le consensus relatif des recherches sur la fiabilité de Wikipédia. Dès 2005, une première étude réalisée pour Nature montre que les productions wikipédiennes ne sont pas significativement moins crédibles que celles d'encyclopédies établies (comme Britannica). Les enquêtes ultérieures n'ont fait que confirmer cette première impression, à mesure que la communauté adoptait des critères de vérifiabilité beaucoup plus exigents. Wikipédia est aujourd'hui favorablement comparée aux encyclopédies généralistes et spécialisées. Un certain relâchement sur le plan formel (les fautes d'orthographes sont plus fréquentes) est compensé par une actualisation et une complétude sans équivalent.

Il va sans dire que Wikipédia (au même titre que n'importe quelle source de vulgarisation) ne permet en aucun cas d'établir un diagnostic. « Wikipedia vs. Peer-Reviewed Medical Literature » va au-delà : les auteurs incitent les étudiants et les médecins à cesser d'utiliser Wikipédia pour se renseigner sur des sujets médicaux.

Paradoxalement, une étude qui exprime un avis aussi tranché sur la fiabilité de Wikipédia n'est pas si fiable que cela. Je me suis permis d'effectuer un exercice de contre-peer-review qui révèle plusieurs failles importantes. À noter que j'ai écrit ce texte avant d'avoir pris connaissances des évaluations détaillées des membres du projet médecine de la Wikipédia anglophone : nous parvenons à des conclusions similaires ce qui est plutôt bon signe…

Des données à double tranchant…

L'étude repose sur le mécanisme suivant : les 10 articles ont été soumis à un comité d'évaluation de 10 médecins. Chaque médecin devait évaluer deux articles, ce qui permettait d'avoir une double relecture (et d'éviter ainsi des appréciations subjectives). Les informations contenues dans Wikipédia sont alors confrontées aux acquis actuels de la recherche, tels que consignés dans des bases d'articles scientifiques (de préférence Uptodate, ou à la rigueur Google Scholar). Faute d'être étayée par cette littérature universitaire, une affirmation de Wikipédia est comptée comme une erreur.

Les données quantitatives des évaluateurs apportent des conclusions plus contrastées. J'ai calculé les proportions d'erreur repéré par chaque évaluateur. On découvre des variations importantes. Tous les articles ne sont pas également erronés : il y a 9 % d'erreurs pour le diabète, mais jusqu'à 34% pour la dépression. Bizarrement, l'article sur les concussions est présenté dans l'étude comme le seul article vraiment fiable, alors que le taux d'erreur est au contraire l'un des plus élevés (32%). Pour l'ensemble de l'échantillon, le taux d'erreur s'établit à un peu moins de 22% (soit 78% d'exactitude).

Taux d'erreur par article (reviewer 1 en bleu, reviewer 2 en vert).

Les divergences entre les deux évaluateurs sont en fait les principaux enseignements de cette enquête. L'évaluateur n°1 ne détecte aucune erreur dans l'article sur l'hyperlipidémie ; 21% des assertions seraient erronées selon le second évaluateur. La différence entre les deux proportions tourne autour de 25% dans certains cas (26% pour l'article sur les concussions (45 vs. 19), 24% pour l'article sur la dépression(22 vs. 46)).

Différentiel entre le taux d'erreur du reviewer n°1 et celui du reviewer n°2

Le mirage du vrai/faux

Comment justifier un tel écart ? Les évaluateurs ont fait appel aux sources les plus fiables qui soient (des synthèses scientifiques récentes). Et pourtant, ils ne parviennent pas à s'accorder sur le taux d'erreur contenu dans Wikipédia.

Je serai tenté d'émettre l'hypothèse suivante : la recherche scientifique ne se résume pas à une simple accumulation de vérités absolues. Si certains sujets sont suffisamment connus pour que l'on puisse se contenter d'un raisonnement vrai/faux, dans de nombreux cas les connaissances sont bien plus incertaines : les champ de recherche sont alors dynamiques et évoluent constamment en fonction des expériences réalisées ou des tentatives de théorisations effectuées. Ainsi deux spécialistes, découvrant le même corpus et travaillant dans le même cadre méthodologique ne parviendront pas aux mêmes conclusions.

À ceci s'ajoute une seconde variable : le temps. Les auteurs de l'étude prennent bien soin de préciser qu'ils ont opté pour des sources récentes. Or, cette actualité fait défaut sur une encyclopédie. Les articles de Wikipédia relevant d'un savoir spécialisé ne sont pas constamment actualisés et dépendent fortement de l'arrivée, ponctuelle, d'un contributeur compétent. Les informations anciennes s'y maintiennent beaucoup plus longtemps. Un corpus de 10 articles ne permet pas d'évaluer ce phénomène de datation, mais l'on peut supposer que le cancer du poumon (23,5% d'erreurs) fait l'objet de plus de recherches et de débats que le mal de dos (13% d'erreurs). Les encyclopédies traditionnelles sont confrontées au même problème : l'actualisation n'est pas constante mais fonctionne par à-coup (a fortiori dans la mesure où l'éditeur doit souvent investir pour toute refonte).

La notion même d'erreur devient discutable. Les auteurs de l'étude opèrent un peu trop vite un glissement de la discordance (vis-à-vis des sources fiables) vers l'erreur, sans prendre le temps de pondérer cette discordance. Ce faisant, ils ne tiennent pas compte de l'incertitude relative de telle ou telle affirmation recensée dans la littérature scientifique (d'où les écarts d'appréciation entre les reviewers).

Un jeu de miroir

Par un étonnant jeu de miroir, la médiatisation de cette étude met en doute la fiabilité de tout-le-monde. On relève des contresens assez surprenants dans son traitement journalistique : un article du Huffington Post parle ainsi, confusément, de 90% d'erreurs sur Wikipédia (alors que, sur le corpus considéré, les données de l'étude convergent vers un taux d'erreur de 22%). C'est là un problème classique de la médiatisation scientifique : les journalistes n'hésitent pas à dramatiser l'information pour la rendre intéressante. SMBC vient de résumer le sujet en un strip plein d'esprit (dans la même veine je vous invite à lire l'hilarant Scientistofamerica).

L'étude elle-même, comme on l'a vu, prête le flanc à la critique :
1. Par-delà la faiblesse du corpus (10 articles seulement), le cadre théorique est parfois problématique (en particulier, le glissement très rapide de la discordance vers l'erreur, ou une présélection du corpus parfois arbitraire).
2. Les données ne sont pas complètement exploitées. Les évaluations apparaissent ainsi très fortement divergentes ce qui relativise l'idée qu'il y aurait une vérité scientifique unique que Wikipédia se devrait de refléter. Le compte-rendu de l'enquête inclut peut-être une erreur non négligeable (l'article concussions considéré comme l'article le plus fiable alors que les données disent a priori le contraire).
3. Il n'y pas d'élément de comparaisons qui permettent d'évaluer où se situe Wikipédia dans le champ des sources de vulgarisation. Le Figaro conclut ainsi un peu vite que les encyclopédies médicales sont bien plus fiables, alors même qu'elles devraient, dans le cadre de cette étude, rencontrer des difficultés similaires (actualisation incomplète, absence de consensus dans le champ de recherche…).

Cet effet boomerang souligne à quel point la fiabilité n'est pas une faculté innée. Elle résulte d'un important effort de rigueur, de vérifiabilité et de cohérence. À ce jeu, Wikipédia est imparfaite, mais pas plus imparfaite que d'autres systèmes de relais des connaissances (encyclopédies traditionnelles, médias…). Par contraste avec d'autres sources, elle a le mérite de souligner sa propre imperfection, avec force bandeaux ébauches et autres références nécessaires. Et je terminerais cette affaire sur une petite maxime de mon crû, à la manière antique : la connaissance des erreurs est le commencement de la sagesse…

Éditeur visuel…

Ça fait un an et demi que j'annonce et je souhaite sa venue. Depuis fin juillet, l'éditeur visuel est bien réel. Il permet à quiconque de modifier l'interface mediwiki sans avoir à se farcir un stage accéléré de maîtrise de la syntaxe wiki. Il s'agit finalement d'un retour aux principes initiaux de Wikipédia.

À ses débuts, la syntaxe wiki était conçue comme une version grandement simplifiée du langage HTML. En lieu et place des balises, quelques signes de ponctuations élémentaires (apostrophes pour les gras et les italiques, signes d'égalité pour le niveau de titre…). Sauf qu'avec le temps, l'encyclopédie s'est naturellement complexifiée. La gestion des références, la transclusion de modèles, les infobox : tous ces éléments nécessaires à la mise en œuvre d'une encyclopédie de référence nécessitent des artifices techniques de plus en plus élaborés. La syntaxe wiki est devenue une sorte de mélasse un peu brouillonne où se mêlent des éléments de code descriptif avec des morceaux de langage de programmation (par exemple, les {{{if}}} que l'on croise parfois dans tel ou tel modèle un peu élaboré).

J'ai eu la chance de voir toutes ces subtilités se généraliser les unes après les autres : en sept ans, la mémorisation se fait sans peine. Un nouvel arrivant aura sans doute plus de difficultés. L'éditeur visuel est maintenant là pour l'aider… ou pas.

L'outil est devenu une réalité technique, globalement corrigée de la plupart de ses bugs et imperfections (il y a encore des petits soucis intempestifs, mais si les développeurs restent bien au taquet, tout devrait se réguler d'ici la fin de l'année). Malheureusement, cette réalité est bien partie pour demeurer inaccessible à ceux qui en auraient le plus besoin.

La wikipédia germanophone, puis la wikipédia anglophone ont pris l'initiative de retirer l'éditeur visuel de l'interface par défaut. Il est maintenant nécessaire de l'activer dans ses préférences, une option seulement accessible aux contributeurs inscrits (et, même plus largement, aux contributeurs réguliers : les contributeurs occasionnels ont peu de chance d'aller traîner là-dedans). Bref, autant dire que l'outil n'assume plus du tout sa mission primordiale : apporter de nouvelles recrues à la communauté en motivant les profils un peu effrayés par les coulisses techniques.

Côté francophone, les perspectives sont plus heureuses. Un sondage récent montre certes quelques réticences (notamment sur le nom de l'éditeur), mais le principe d'ajouter l'éditeur visuel dans les sections (alors même qu'il n'est pas encore capable de les éditer séparément de l'article) est clairement adopté. Je n'ai pas eu l'occasion de jeter un coup d'œil à leurs débats communautaires, mais les hispanophones et les italophones semblent a priori partis pour conserver le truc.

Tout n'est donc pas perdu. Sous réserve que les développeurs ne se laissent pas décourager par les déconvenues sur la version anglophone (qui ont viré à un énième bras de fer entre la communauté et la Fondation : ça faisait longtemps…), l'éditeur visuel devrait au moins faire ses preuves sur plusieurs communautés de grande taille. Et vérifier ainsi les nombreuses attentes qui se sont portées sur lui.

En ce qui mon concerne, je n'ai aucun doute sur son effet positif sur le long terme. La syntaxe wiki constitue un frein souvent cité à la contribution. Ce n'est pas le seul. Le respect de la vérifiabilité s'avère également contraignant, mais il demeure non-négociable. Tout-le-monde ne deviendra pas encyclopédiste du jour au lendemain, mais l'éditeur visuel a de bonnes chances d'attirer de nouvelles recrues, jusqu'alors réticentes à sauter le pas.

Les chercheurs sont peut-être les premiers concernés. Pour quiconque n'a pas l'habitude des syntaxes web, la maîtrise des bases élémentaires de l'éditeur classique prend au bas-mot quelques heures. Or, présenter son champ d'étude sur un média généraliste a beau être une idée séduisante, cela reste un objectif secondaire, d'ailleurs non pris en compte par les agences de notation telles que l'AERES ou par les universités. Cela ne peut se faire qu'à titre occasionnel — justement ce que permet l'éditeur visuel.

On arrive ainsi à cette situation un peu paradoxale : les communautés qui souffrent le moins d'un déclin de la participation adoptent un outil qui va probablement contribuer à la stimuler ; inversement, les deux communautés qui subissent le reflux le plus sévère (de l'ordre d'un quart d'effectifs en moins dans le cas anglophone comme dans le cas germanophone au cours de ces six dernières années) se refusent à mettre en œuvre une solution qui aurait peut-être permis de colmater les brèches.

Une comparaison évocatrice de {{en}} et {{de}} vs. {{fr}} et {{es}}

Cet épisode aura au moins permis de confirmer un donnée intéressante : la récession d'une communauté provient surtout de facteurs sociaux internes. La prévalence d'une vision un peu élitiste de la contribution wikipédienne contribuerait à alimenter une sorte de spirale excluante, marquée par le double rejet des nouveaux utilisateurs et de la nouveauté technique.

Citez vos sources… mais pas que.

J'en ai déjà parlé sur twitter, mais le sujet vaut sans doute bien un petit billet de blog. La semaine dernière j'ai lu avec beaucoup de plaisir le troisième volume de "La Méditerranée" de Fernand Braudel. Cela peut paraître un peu galvaudé de dire ça, mais la synthèse historique se lit par moment "comme un roman", avec son lot d'espions double et triple, d'ambassadeurs chafouins, de corsaires diaboliques, de fous de dieu, de guérillas et de batailles navales… J'étais emporté sur le siège de Malte, lorsque je fus soudain arrêté par un coup au cœur. Jugez-en par vous-même :

C'est marqué en toute lettre dans le titre: « Malte, épreuve de force (18 mai-8 septembre 1564) ». Sauf que le siège de Malte a eu lieu en 1565, sans ambiguïté possible. Le paragraphe suivant rétablit heureusement la bonne chronologie : « la brusque arrivée de l'armada turque sur Malte, en mai 1565 (…) Dès la fin de 1564 ». Tout ceci a de quoi plonger le lecteur dans une certaine perplexité — et encore, s'il s'avère suffisamment attentif. Un étudiant en histoire en pleine révision sera sans doute tenté de survoler rapidement le texte et de retenir la date la plus immédiatement visible — celle du titre — et donc, sans s'en douter, de colporter une erreur factuelle significative.

Pour ma part, mon instinct de wikipédien a pris le dessus. Faute de trouver le bouton modifier, j'ai contacté l'éditeur :

Je me permets de vous signaler la présence d'une erreur assez problématique dans votre édition du 3e volume de "La Méditerranée" de Braudel. En pp. 147-149, le siège de Malte est situé en 1564 alors qu'il a bien lieu en 1565. Parfois la date exacte revient dans le corps du texte, ce qui ne fait qu'ajouter à la confusion. Serait-il possible d'inclure une sorte d'erratum à l'avenir ? Le siège de Malte est un événement historique important et l'ouvrage de Braudel constitue l'une des principales sources de référence sur cette période. En l'état, l'édition contribue à induire en erreur de nombreux lecteurs.

Je n'ai pas encore reçu de réponse. Par contre, j'ai un peu réfléchi aux implications de ce genre d'inexactitude. "La Méditerranée" de Braudel est l'archétype d'une source très fiable qui, bien qu'ancienne, continue de faire autorité. L'ouvrage a été réédité neuf fois depuis sa parution (de 1949 à 1990). L'erreur a été peut-être introduite à l'occasion d'une de ces rééditions — peut-être est-elle passée par toutes les mailles du filet, pourtant bien tendu, des corrections successives.

Le problème qui se pose maintenant est le suivant : j'aurai du temps à perdre et une volonté de troller, je pourrai très bien me targuer de cet ouvrage pour introduire intentionnellement une erreur sur Wikipédia. Peut-être pas sur l'article Grand Siège de Malte, déjà bien référencé, mais certainement dans un des nombreux articles parallèles. Par exemple, l'article sur l'un des protagonistes du conflit, Mustafa Pacha, ne comporte aucune référence. Il ne tient qu'à moi de signaler, l'ami Braudel à l'appui, qu'il a pris part au siège de Malte en 1564.

Tout ceci montre les limites du simple principe de citer des sources fiable. La fiabilité absolue n'est pas de ce monde. En se référant à des analyses scientifiques réputées on décroît le risque d'erreur ; on ne l'élimine pas.

L'histoire de Wikipédia se résume ainsi à une quête jamais terminée de l'exactitude encyclopédique.

Jusqu'en 2006-2007, la véracité du propos dépendait d'une pratique en apparence assez problématique, mais qui ne fonctionnait pas si mal que ça : la sagesse des foules, l'idée que le croisement d'une multitude de regards sur un texte donné va vraisemblablement entraîner une discrimination les erreurs factuelles à terme. Les études de la fiabilité de Wikipédia antérieures à 2006 montre que, effectivement, le taux d'erreur n'est pas monstrueux (environ 4 par article vs. 3 pour l'Encyclopedia Britannica).

Par la suite, le recours de plus en plus systématique aux sources secondaires permet d'atteindre un nouveau palier. Des études plus récentes soulignent que l'encyclopédie collaborative ne s'approche pas seulement de la rigueur des encyclopédie traditionnelles ; elle la dépasse bien souvent.

Il est toujours possible d'aller plus loin. C'était un peu le sens d'un petit essai que j'ai créé l'année dernière, Wikipédia:PROPORTION. L'enjeu n'est plus seulement de citer ses sources, mais de les croiser, voire de les mettre en concurrence, de manière à diminuer, là aussi, les possibilités d'inexactitudes ou d'interprétations infondées.

J'ai ainsi parfois l'impression qu'à force de se focaliser sur le moyen (le recours aux références) on perd de vue le but. On peut, si on le souhaite, mettre une note de bas de page à chaque mot ; si il n'y a pas eu en amont un travail d'évaluation et de croisement des diverses sources disponibles, ce travail un peu maniaque risque fort de ne pas constituer un garde-fou suffisant.

Carte mystère

Un jeu : devinez ce que veut dire la carte ci-après ! Le gagnant remporte un vague commentaire de la carte en question (les perdants aussi, en fait).

Loop…

La communauté wikipédienne s'était assez bien habituée à vivre à l'écart du monde. Entre deux engueulades sur la métaphysique des sources et de l'admissibilité, on discutait tranquillement de menhir du néolithique, d'impasses parisiennes et de philosophes mégariques loin du fracas et de la fureur de l'actualité. Cela va peut-être bientôt changer. La réputation croissante de Wikipédia a son revers : l'encyclopédie est désormais l'objet de quantité de regards et d'attentions.

Dans cette nouvelle configuration, le paradoxe de l'observateur s'en donne à cœur joie. Les débats interne à Wikipédia sur un objet réel tendent désormais à altérer cet objet. La procédure de page à supprimer de Nabilla constitue un cas d'école, déjà ébauché par celle de François Asselineau : l'initiative des contributeurs est médiatisée en tant que telle ; elle devient, bon an mal an, un élément sourçable d'une éventuelle biographie.

On assiste en somme à un effet de looping : Wikipédia ne fait que refléter les sources fiables existantes ; or les actions internes à Wikipédia modifient la teneur de ces sources et de la médiatisation préexistante ; ipse Wikipédia modifie Wikipédia. Comme le remarquait XKCD dans un petit strip bien troussé, il y a de quoi y perdre son latin :

Nous ne sommes sans doute qu'au début du phénomène. Des « loops » similaires peuvent très bien advenir dans le cas, pourtant moins suspect, des études académiques. Pour peu que Nabilla connaisse le même destin scientifique que Loana (aujourd'hui étudiée très sérieusement dans plusieurs thèses en sociologie), sa PàS risque de devenir à son tour une connaissance encyclopédique au plein sens du terme.

Sans compter que certains chercheurs, déçus de la non-admissibilité d'un sujet donné, peuvent très bien entreprendre d'écrire un article de recherche dessus, le rendant de facto admissibles… Nous ne sommes pas au bout de nos peines.