L’analyse de la synthèse méthodique publiée dans ce numéro de la revue Minerva à propos des soins de fin de vie (1) pose, entre autres, la question de l’évaluation de la fiabilité des résultats d’une publication. L’évaluation d’un guide de pratique, d’une étude diagnostique, pronostique ou pharmaco-économique ne sera pas discutée ici. Nous avons déjà abordé le problème de l’évaluation de la qualité des synthèses méthodiques et des méta-analyses dans Minerva (2). Pour rappel différentes grilles sont proposées pour évaluer la qualité méthodologique de ces recherches, dont plusieurs sont accessibles online (SIGN (3), DUTCH COCHRANE (4) par exemple).

Pour évaluer la qualité méthodologique d’une RCT, c’est souvent le score de Jadad (Jadad 1998) qui est utilisé, mais, comme déjà précisé dans Minerva, il y a de nombreux autres scores. En 1999, Jüni et coll. (5) en relevaient 26 et concluaient que certains tests posaient problème. Ils plaidaient pour des tests utilisant les éléments repris par Jadad. 

Jadad (6,7) a élaboré un score destiné à évaluer la qualité méthodologique uniquement des RCTs. Ce score comprend trois critères : la randomisation, le caractère aveugle et la mention des drop-outs (sorties d’études) et des withdrawals (arrêts de traitements). Un point est attribué pour la présence de chacun des critères. Un point supplémentaire est ajouté ou retranché selon que, séparément, la randomisation et l’insu sont corrects ou non corrects. Sur 5 points possibles, un score inférieur à 3 indique une qualité méthodologique insuffisante pour la RCT. Nous avons cependant montré dans Minerva, comme d’autres auteurs le précisent, que l’utilisation du seul score de Jadad avait ses limites (8). Il faut y ajouter, au minimum, le critère de la présence d’une analyse en intention de traiter.

Le centre de la Cochrane Collaboration situé aux Pays-Bas propose différentes grilles d’évaluation pour les publications : pour les méta-analyses et RCTs mais aussi pour les études non randomisées. Ces grilles sont disponibles sur son site web (4).

Pour les études qui ne sont pas randomisées contrôlées, nous disposons encore d’autres grilles d’évaluation de leur qualité méthodologique, et indirectement de la fiabilité de leurs résultats.

Downs et Black (9) ont élaboré un questionnaire comportant 27 items et une cote sur 32 points pour évaluer aussi bien les études randomisées que les études non randomisées. Ce questionnaire aborde la qualité de la publication, sa validité externe et interne (biais, facteurs confondants) ainsi que la puissance. Ces auteurs estiment, comme de nombreux autres experts qui utilisent ce questionnaire, que celui-ci est performant et applicable, mais encore améliorable.

Deeks et collaborateurs se sont livrés à une vaste recherche des grilles d’évaluation d’interventions non randomisées (10). Ils ont identifié 194 outils d’évaluation de ce type d’étude (dont les critères de Downs). Ils estiment que la plupart de ces outils omettent de prendre en considération des domaines importants pour juger de la qualité des études. Ils relèvent les domaines les plus importants à leurs yeux : le contexte, la sélection des sujets, le suivi, la présentation et l’analyse des résultats. Ils concluent que, devant notre incapacité à compenser des biais de sélection et aussi à déterminer si des études non randomisées présentent ou non un biais de sélection, celles-ci ne sont à prendre en considération que dans la situation où une RCT est impraticable ou non éthique.

En suivant ce raisonnement, correct dans l’esprit EBM, nous pouvons admettre que, pour le praticien, dans certaines situations de soins de fin de vie ne permettant pas d’effectuer d’étude randomisée contrôlée (à bien évaluer !), une étude non randomisée montrant une qualité correcte selon les critères actuellement déterminés représente le meilleur élément de preuve disponible.

Références

1. Sturtewagen JP, Chevalier P. Soins palliatifs en fin de vie : des preuves ? MinervaF 2008;7(9):148-51.
2. Chevalier P, van Driel M, Vermeire E. Evaluation de la qualité méthodologique des méta-analyses. MinervaF 2008;7(1):16.
3. Dutch Cochrane Center.
4. Scottish Intercollegiate Guideline Network (SIGN).
5. Jüni P, Witschi A, Bloch R, Egger M. The hazards of scoring the quality of clinical trials for meta-analysis. JAMA 1999;282:1054-60.
6. Jadad AR, Moore RA, Carroll D, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Controlled Clin Trials 1996;17:1-12.
7. Jadad AR, Cook DJ, Jones A, et al. Methodology and reports of systematic reviews and meta-analyses: a comparison of Cochrane reviews with articles published in paper-based journals. JAMA 1998;280:278-80.
8. Van Winckel M. Probiotiques en prévention de la diarrhée aiguë. MinervaF 2007;6(5):68-70.
9. Downs SH, Black N. The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. J Epidemiol Community Health 1998;52:377-84.
10. Deeks JJ, Dinnes J, D'Amico R, et al; International Stroke Trial Collaborative Group; European Carotid Surgery Trial Collaborative Group. Evaluating non-randomised intervention studies. Health Technol Assess 2003;7:1-173.

Publications précédentes dans cette rubrique

• LOCF ou pas LOCF ? Quand les données manquent… MinervaF 2008;7(8):128

• Lecture critique d’une méta-analyse MinervaF 2008;7(5):80

• Evaluation de la qualité méthodologique des méta-analyses  MinervaF 2008;7(1):16

• Hétérogénéité dans les synthèses méthodiques et méta-analyses MinervaF 2007;6(10):160

• Biais de publication : identification et essai de correction  MinervaF 2007;6(9):144

• Synthèse méthodique et méta-analyse : première approche MinervaF 2007;6(2):18