Meta-analyses – Some Explanations, Illustrated with an ExampleClinique de Médecine 21, Division d’Anesthésiologie, Département APSIC2, HUG Genève1M. Schneider, 2M.R. Tramèr |
Als Meta-Analyse im engeren Sinn bezeichnet man «eine statistische Me thode, die Resultate mehrerer klinischer Studien quantitativ kombiniert oder integriert» [1]. Meta-Analysen werden in der medizinischen Literatur immer zahlreicher. Seit Mitte der 90er Jahre findet man jedes Jahr mindestens 400 neue Einträge in Medline, die gemäss dem Publikationstyp «Meta Analysis» klassifiziert sind. 1997 waren es 589 Einträge (KnowledgeFinder® 4.19). Der Nutzen von Meta-Analysen wird kontrovers beurteilt [2]; sie stossen sowohl auf harte Ablehnung wie auf enthusiastische Zustimmung.
Oft sind klinische Studien zu klein, um Auskunft über die statistische Signifikanz oder klinische Relevanz eines Behandlungseffektes oder einer Nebenwirkung zu geben. Die grosse Multizenter-Studie, die auf alle relevanten Fragen verlässlich Antwort gibt, ist in jedem Falle wünschenswert. Sie wurde jedoch für die meisten klinisch-relevanten Fragestellungen noch nicht durchgeführt und wird voraussichtlich auch nie durchgeführt werden; der logistische und finanzielle Aufwand wäre zu gross. In dieser Situation ist die Meta-Analyse eine willkommene und nütz liche Alternative.
Meta-Analysen können die Wirksamkeit von Therapien nachweisen, lange bevor grosse Studien einen positiven Therapie-Effekt zeigen. Schon Mitte der 70er Jahre gab es genügend publizierte Studien, welche, wären sie meta-analytisch kombiniert worden, die günstige Wirkung der Thrombolyse beim akuten Myokardinfarkt hätten beweisen können [3]. Erst 10.Jahre später jedoch, nachdem Tausende von Patienten an grossen Multizenter-Studien wie GISSI [4] und ISIS-3 [5] teilgenommen hatten, empfahl die Mehrzahl der Lehrbuch-Autoren die Thrombolyse als Routinetherapie des Myokardinfarkts [3]. Es wurde gefordert, dass die Industrie ihre Studienprogramme für neue Therapien bewusst so aufbaut, dass kontinuierliche, kumulative (sogenannte «geplante») Meta-Analysen möglich werden [6]. Dies könnte den Einführungsprozess, zum Beispiel eines neuen Medikamentes, wesentlich erleichtern.
Es kommt auch vor, dass sich die Resultate verschiedener Studien zur selben Intervention widersprechen. Die Meta-Analyse vermag dann oft Wirksamkeit und Risiko einer Therapie in spezifischen Patientengruppen aufzuzeigen und damit den vermeintlichen Widerspruch zwischen verschiedenen Studien zu erklären. Schliesslich können Meta-Analysen ein Informations defizit aufzeigen. Die Suche nach relevanten und gültigen Daten zu einer be stimmten Fragestellung kann nämlich ergeben, dass solche Daten fehlen oder dass die vorhandenen Daten qualitativ unbefriedigend sind.
Meta-Analysen können zu falschen Schlüssen führen. Eine Meta-Analyse fand einen günstigen Effekt der Magnesium-Infusion beim akuten Myokardinfarkt [7]. Eine sehr grosse prospektive Studie (ISIS-4) konnte diesen Effekt jedoch nicht bestätigen [8]. Zudem können Autoren, die dieselbe Intervention meta-analytisch unter suchen, zu unterschiedlichen Schluss folgerungen kommen, wie zwei Arbeiten über niedrigmolekulares Heparin in der postoperativen Thrombose-Prophylaxe zeigen [9,10].
Es besteht die Gefahr, aufgrund solcher «negativer» Beispiele die Methodik und die Aussagekraft der Meta-Analyse zu diskreditieren. Es ist jedoch sinn voller, die Ursachen der Diskrepanzen zwischen den Schlussfolgerungen von Meta-Analysen und grossen klinischen Studien, oder zwischen verschiedenen Meta-Analysen zu suchen. Es darf nicht vergessen werden, dass fundamen tale methodologische Probleme klinischer Studien (zum Beispiel die Wichtigkeit der Randomisierung [11] und der Blindführung [12], Einfluss der Studiengrösse [13], der Publikationssprache [14], des Publikationslandes [15], oder von Mehrfachpublikationen [16]) nur entdeckt wurden, weil jemand die Literatur systematisch analysiert hatte.
Die wohl erste publizierte Meta-Analyse überhaupt ist eine Analyse von sieben Studien zur Typhus-Impfung, pu b liziert im Jahre 1904 [17]. Beinahe ein Jahrhundert später wird wiederum im British Medical Journal eine Meta-Ana lyse zum gleichen Thema veröffentlicht [18]. Anhand dieses Beispiels werden wir den Aufbau einer Meta-Analyse erläutern. Wir werden auch auf Quali täts-Merkmale einer Meta-Analyse hinweisen, da diese die Gültigkeit (Validi tät) der Schlussfolgerungen beeinflussen und somit die Brauch barkeit der Analyse im klinischen Alltag (Implementierung) definieren. Wir möchten den Leser ermuntern, die Originalarbeit [18] herauszusuchen (zum Beispiel via Internet: http://www.bmj.com/cgi/ content/full/316/7125/110) und zusammen mit unseren Erläuterungen den Aufbau und die Methodik einer Meta-Analyse studieren.
Einer Meta-Analyse sollte eine klar definierte Fragestellung zu Grunde liegen. In unserem Beispiel [18] wurden Wirksamkeit und Toxizität von drei Typhus-Impfstoffen (Ganzzell-Impfung, TAB Berna®, orale Impfung mit attenuierten Salmonella typhi Ty21a, Vivotif®, und Kapsel-Impfstoff, Typhim®) untersucht.
Die Autoren suchten systematisch nach relevanten Daten. Sie stützten sich dabei auf elektronische Datenbanken und sahen die Literaturlisten von Studien nach noch nicht identifizierten Referenzen durch.
Der Leser findet die Bezeichnung «systematisch» oft im Titel oder in der Zusammenfassung von Meta-Analysen. Die Autoren beschreiben dann ihre Anstrengungen, alle Daten zu finden. Normalerweise werden elektronische Datenbanken (zum Beispiel Medline, Embase, Cochrane Library) zu Hilfe genommen und Bibliographien von relevanten Studien und Übersichtsartikeln durchgesehen.
Warum ist das Prädikat «systematisch» wichtig? Der konventionelle Übersichtsartikel (engl. narrative review) fasst in freier Form die wichtigsten Daten zu einem medizinischen Thema zusammen. Die Referenzen sind dann oft un vollständig, und der Leser erfährt selten, nach welchen Kriterien die diskutierten Daten ausgewählt wurden. Zudem kann die persönliche Meinung des Autors die Schlussfolgerungen massgeblich beeinflussen. Es ist dem Leser somit nicht möglich, die Analyse der Daten zu replizieren. Die syste ma tische Review garantiert, dass die Zusammenstellung aller relevanten Daten frei von der Voreingenommenheit der Autoren geschah. Die Autoren einer systematischen Review werden typischerweise klare Ein- und Ausschlusskriterien der zu analysierenden Daten und eine nachvollziehbare Suchstrategie deklarieren. Die wichtigsten Nachteile der systematischen Review sind offensichtlich: sie sind ausserordentlich zeit- und personal-aufwendig.
Es ist wichtig festzuhalten, dass nicht jede Meta-Analyse zwingend eine systematische Review ist (eine Meta-Analyse kann mit mindestens zwei willkürlich zusammengestellten Studien durchgeführt werden). In unserem Beispiel basiert die Meta-Analyse vorbildhaft auf einer systematischen Datensuche; man spricht auch von einer quantitativen systematischen Review.
Die Autoren suchten publizierte Studien, die eine Aktiv-Gruppe mit einer Kontroll-Gruppe verglichen, wobei die Zuweisung der Probanden in die eine oder andere Gruppe randomisiert oder nicht-randomisiert erfolgen konnte. Die Autoren berücksichtigten Studien in allen Sprachen über die Wirksamkeit der Impfung, jedoch nur englischsprachige Publikationen über Nebenwirkungen der Impfung.
Die Autoren verzichteten auf die Suche nach unpublizierten Daten. Dies kann problematisch sein, da die Möglichkeit besteht, dass sich publizierte Daten grundlegend von nicht-publizierten Daten unterscheiden; im Englischen spricht man dann von publication bias. Ein Beispiel soll die Extremsituation schildern. Eine Analyse aller publizierten Vergleichsstudien von Kombina tions-Chemotherapie mit Alkylantien-Monotherapie beim fortgeschrittenen Ovarialkarzinom kam zum Schluss, dass die Kombinationstherapie effizienter war als die Mono-Therapie. Berücksichtigte man auch jene Studien, die nach Studienabschluss nicht publiziert wurden (jedoch zentral registriert waren), verschwand diese Überlegenheit [19]. Andere Forschungsergebnisse wiesen eine zeitlich verzögerte Publikation von «negativen» Studien (die Behandlung war nicht besser als ein Placebo) nach. Für 109 klinische HIV-Studien mit statistisch signifikantem Ergebnis zu Gunsten der Behandlung betrug die Zeit zwischen Versuchs beginn und Publikation im Mittel 4,3.Jahre, für «negative» Studien hingegen 6,5.Jahre [20]. Wiederum andere Forschungsgruppen konnten keinen Zusammenhang zwischen Studienresultat und Zeitdauer bis zur Publikation nachweisen [21]. Die quantitative Wichtigkeit des publication bias bleibt weiterhin unklar.
In unserem Beispiel [18] wurden Effizienz-Studien in allen Sprachen berücksichtigt; für Daten zu Nebenwirkungen beschränkten sich die Autoren auf englischsprachige Publikationen. Sprachenselektion bei der Zusammenstellung der zu analysierenden Studien kann das Gesamtresultat einer Meta-Analyse verzerren. Es wurde gezeigt, dass kontrollierte Studien aus dem deutschsprachigen Europa eher in englischsprachigen als in deutschsprachigen Zeitschriften veröffentlicht wurden, wenn sie ein statistisch signifikantes Ergebnis enthielten [14]. Dieses Phänomen muss man sich dadurch erklären, dass Autoren einer «positiven» Studie eher eine englischsprachige Zeitschrift zur Publikation auswählen, weil diese normalerweise ein höheres Prestige (einen höheren impact factor) und auch eine grössere Reichweite und Leserschaft hat, als Zeitschriften in anderen Sprachen. Andere systematische Untersuchungen wiesen nach, dass Autoren aus asiatischen Ländern gehäuft positive Studien publizieren [15].
Die Autoren berücksichtigten kontrollierte Studien mit oder ohne Randomisierung. Der Randomisierungsprozess (zum Beispiel mittels eines Computerprogramms) teilt die Studienteilnehmer zufällig den Behandlungsgruppen zu. Damit wird eine optimale Vergleichbarkeit der Studiengruppen angestrebt. Nicht-randomisierte Studien können zu verzerrten Ergebnissen führen, da die Gefahr besteht, dass die Patienten selektioniert werden (engl. selection bias). Eine Studie verglich anhand von 221 Publikationen den Therapieerfolg einer alten mit einer neuen chirurgischen Methode [22]. Die prospektiven randomisierten Studien zeigten nur einen geringen Vorteil der neuen Methode. Die prospektiven nicht-randomisierten Studien beschrieben jedoch einen ausgeprägteren Behandlungs effekt mit der neuen Methode. Die retrospektiven (nicht-randomisierten) Studien schätzten den Behandlungs effekt noch höher ein.
In einer systematischen Review konnten randomisierte Studien die analgetische Wirkung der transkutanen elektrischen Nervenstimulation (TENS) bei postoperativen Schmerzen nicht nachweisen, während in den meisten nicht-randomisierten Studien TENS als wirksam beschrieben wurde [11].
Der Einschluss nicht-randomisierter Studien in eine Meta-Analyse kann also dazu führen, dass die Effizienz einer Therapie überbewertet wird. Es ist weitgehend unklar, wie sich die Berücksichtigung nicht-randomisierter Studien auf die Bewertung des Risikos einer Behandlung auswirkt. Es gibt jedoch Hinweise, dass, im Gegensatz zur Beurteilung von Therapie-Effizienz, nicht-randomisierte Studien das Therapie-Risiko unterbewerten [23].
Wie wir gesehen haben, ist ein wichtiger Teil der Meta-Analyse der kritischen Beurteilung (engl. critical appraisal) der gefundenen Daten gewidmet. Damit soll eine Selektion der gültigen Daten erreicht werden. In unserem Beispiel [18] stellt sich zum Beispiel die Frage, ob zum Zeitpunkt der Beurteilung von Wirksamkeit und Nebenwirkungen der Typhus-Impfungen den Studienleitern bekannt war, welche Impfung der Proband erhalten hatte. Dies ist wichtig zu wissen, da die Kenntnis der Behandlung zu einer Überbewertung des Behandlungseffektes führen kann (engl. observer bias). In einer kanadischen Studie wurden Patienten mit Multipler Sklerose nach dem Zufallsprinzip (randomisiert) zwei Gruppen zugeteilt [24]. Die eine Gruppe erhielt wöchentliche Plasma-Austausch-Transfusionen sowie Cyclophosphamid und Prednison. Für die Kontrollgruppe simulierten die Studienleiter die Austausch-Transfusionen und verabreichten Placebos. Ein Neurologe, der nicht über das Behandlungs schema informiert war (er war «blind»), untersuchte die Patienten nach 6, 12 und 24.Monaten. Er stellte zu keinem Zeitpunkt einen Unterschied zwischen den zwei Gruppen fest. Ein zweiter Neurologe, der die jeweiligen Behandlungen kannte (er war nicht «blind»), untersuchte die Patienten ebenfalls; sein Urteil fiel zu Gunsten der aktiven Therapie aus. Eine Untersuchung von neonatologischen Studien zeigte, dass Studien mit einem «doppelblinden» Design (Patient und Studienleiter wurden gegenüber dem Behandlungsmodus blind gehalten) kleinere Behandlungseffekte nachwiesen als einfachblinde oder offene Studien [12].
Es kommt vor, dass Daten einer Studie mehrfach publiziert werden. Oft geschieht dies, ohne dass die Autoren auf die originalen Daten hinweisen. Dann werden die Duplikate selten erkannt. Als direkte Folge dieser Praxis werden die ohnehin übersättigten Fachzeitschriften mit überflüssigen Artikeln überflutet. So wurde festgestellt, dass 17 % aller randomisierten Studien über die Effizienz des Antiemetikums Ondansetron (in der Prävention des postoperativen Erbrechens) mehrfach publiziert wurden; dies entsprach 28 % aller publizierter Patientendaten [16]. Wären die Duplikate nicht erkannt worden, hätte eine Meta-Analyse die antiemetische Effizienz von Ondansetron überbewertet [16].
Wir wollen anhand des Beispiels [18] die grafische Darstellung der Daten, die Kombination von Daten verschiedener Studien mittels biostatistischer Methoden, die Heterogenitäts-Tests, und die Sensitivitätsanalysen kurz diskutieren.
Die Autoren stellten jede einzelne Studie in typischer Weise grafisch dar (siehe Grafik in der Original-Arbeit [18]): über einer horizontalen Skala liegt ein Punkt, der von einer waagrechten Linie durchquert wird. Der Punkt (engl. point estimate) ist der beste Indikator des einzelnen Studienresultates. Die waagrechte Linie repräsentiert das dazuge hörende 95 %-ige Vertrauensintervall. Dieses gibt, ver einfacht gesprochen, die Präzision des Indikators an: je breiter das Intervall, desto weniger Präzision. Am unteren Ende der Grafik repräsentiert eine Raute das Gesamtresultat der kombinierten Daten. Im Beispiel deutet die Kombination aller Daten auf eine Reduktion des relativen Risikos an Typhus zu erkranken von 73 % verglichen mit Placebo hin; das 95 %-ige Vertrauensintervall reichte von 65 % bis 80 %. Andere Möglichkeiten der grafischen Darstellung von Therapie-Effizienz wurden vorge stellt [25].
Um die Effizienz (und das Risiko) einer Therapie definieren zu können, muss ein Vergleich angestellt werden. Die Autoren wählten als Mass der Impf-Effizienz die Reduktion des relativen Risikos mit einer Impfung an einer Typhus-Infektion zu erkranken verglichen mit Placebo. An Stelle des relativen Risikos hätten die Autoren auch eine odds ratio oder, wohl am aussagekräftigsten, eine number-needed-to-treat [26] wählen können.
Vom Konzept her konstruiert die Meta-Analyse aus mehreren kleinen Einzelstudien eine grosse «Multizenter-Studie». Dabei soll jeder einzelnen Studie ein gewisses «Mass» an Aussagekraft zugeschrieben werden, damit die Kombination der Daten, die von verschie denen Studien mit unabhängigen Randomisierungen stammen, möglichst objektiv erfolgt. Eine grosse Studie soll zum Beispiel mehr «Gewicht» er halten als eine kleine Studie. Um der Un gleich heit der Studien Rechnung zu tragen, werden verschiedene statistische Modelle angewandt (zum Beispiel fixed effect model oder random effects model).
Heterogenität wird in diesem Zusammenhang als ein statistisches Phänomen verstanden, das die Ungleichheit von Daten verschiedener Herkunft beschreibt. Normalerweise wird empfohlen, heterogene Daten nicht einfach meta-analytisch zu kombinieren, sondern vielmehr nach den Ursachen der Heterogenität zu suchen. Sensitivitätsanalysen (siehe nächster Paragraph) können dabei hilfreich sein. Oft kann Heterogenität durch Unterschiede der untersuchten Populationen (verschiedene Risikogruppen), durch ungleiche Interventionen (verschiedene Therapien oder Dosierungen), oder durch uneinheitliche Studienendpunkte erklärt werden. Daten von kleinen Studien zeigen wahrscheinlich öfter Heterogenität als Daten von grossen Studien [27]. In unserem Beispiel verzichteten die Autoren darauf, mit statistischen Methoden nach Heterogenität der zu analysierenden Daten zu suchen.
Berechnungen für individuelle Untergruppen innerhalb einer Meta-Analyse werden Sensitivitätsanalysen genannt. Der Verdacht auf einen reellen Therapieeffekt wird erhärtet, wenn der Therapie-(Impf-)Erfolg in spezifischen Unter gruppen (zum Beispiel in verschiedenen Altersklassen) konstant bleibt. Sensitivitätsanalysen können aber auch mithelfen, spezifische Untergruppen zu identifizieren, in denen die Therapie (Impfung) besonders gut wirkt, oder die einem besonders hohen Risiko von Nebenwirkungen aus -gesetzt sind.
Die Autoren [18] berechneten nicht nur Ergebnisse für drei verschiedene Impfstoffgruppen, sondern auch für unterschiedliche Methoden der Herstellung der Ganzzell-Impfung und für verschiedene Dosierungsschemata der oralen Impfung. Ausserdem berechneten sie die Wirksamkeit der Impfungen gesondert für Kinder und Erwachsene. Der Impfeffekt bestätigte sich in allen Untergruppen. Die Grössenordnung variierte jedoch zwischen 21 % und 80 %.
Die Autoren [18] ziehen den Schluss, dass alle drei Typhus-Impfstoffe während zwei bis vier.Jahren einen Schutz von 65 % bis 80 % bieten, und dass der bessere Schutz der Ganzzell-Impfung mit einer höheren Wahrscheinlichkeit von Nebenwirkungen erkauft werden muss. Sie weisen auch darauf hin, dass die Studien-Probanden in endemischen Gebieten lebten, so dass diese Schlussfolgerungen nur bedingt für Reisende aus entwickelten Ländern in Risikogebiete gelten.
Tab..1 führt die wichtigsten Merkmale einer Meta-Analyse auf. Sie gibt auch an, wie weit unser Beispiel [18] diesen Kriterien entspricht. Wir haben gesehen, wie Autoren von Meta-Analysen mit methodischen Schwierigkeiten umgehen (oder umgehen sollten): relevante Studien werden nach vor-definierten Kriterien gesucht, wobei Vollständigkeit angestrebt wird; die gefundenen Daten werden einer kritischen Beurteilung unterzogen; potentielle Verzerrungen, die sich bei der Auswahl der Daten ergeben können, werden berücksichtigt; in der Analyse wird auf Merkmale des Studiendesigns geachtet, die die Grösse des Therapie-Effektes beeinflussen könnten; die Daten werden grafisch dargestellt und, wenn möglich, quantitativ kombiniert. Nach diesen Kriterien kann der Kliniker eine Meta-Analyse auf Validität und damit Brauchbarkeit für die tägliche Arbeit beurteilen.
Die meta-analytischen Methoden entwickeln sich weiter. Zudem erscheinen laufend neue Originalstudien, die neue Erkenntnisse bringen und so zur Aktualisierung von systematischen Übersichtsarbeiten beitragen können. Die Cochrane Collaboration [28] ist eine internationale Gruppe von Klinikern, Epidemiologen und Statistikern. Mit arbeiter der Cochrane Collaboration suchen systematisch randomisierte Studien, um sie dem Praktiker zugänglich zu machen. Zudem verfassen sie systematische Übersichtsarbeiten, die regelmässig aufgearbeitet werden. Die Cochrane Library [29], die Datenbank der Cochrane Collaboration auf CD-ROM, ist die grösste Quelle kontrollierter Studien und Meta-Analysen. Sie ist für den Praktiker sehr nützlich.
Systematische Übersichtsarbeiten mit oder ohne integrierte Meta-Analyse bilden das Rückgrat der Evidence Based Medicine. Neben kontrollierten klinischen Studien, biologischen und sozialen Grundlagenwissenschaften und epidemiologischen Arbeiten tragen sie zur steten Veränderung und Entwicklung des medizinischen Wissensstandes bei. Zusammen mit der klinischen Erfahrung ermöglicht dies, den Patienten die bestmögliche Betreuung anzubieten.
Herr Dr. Tramèr erhält ein PROSPER Stipendium des Schweizerischen Nationalfonds (N° 3233-051939.97/1).
1. Huque M. F.: Experiences with meta-analysis in NDA submissions. Proc. Biopharm Sect Am Stat Ass 1988; 2: 28–33.
2. Mann C.: Meta-analysis in the breech. Science 1990; 249: 476–480.
3. Antman E. M., Lau J., Kupelnick B., Mosteller F., Chalmers T. C.: A comparison of results of meta-analyses of randomized control trials and recommendations of clinical experts. JAMA 1992; 268: 240–248.
4. Effectiveness of intravenous thrombolytic treatment in acute myocardial infarction. Gruppo Italiano per lo Studio della Streptochinasi nell’Infarto Miocardico (GISSI). Lancet 1986; 1: 397–402.
5. A randomised comparison of streptokinase vs tissue plasminogen activator vs anistreplase and of aspirin plus heparin vs aspirin alone among 41,299 cases of suspected acute myocardial infarction. ISIS-3 (Third International Study of Infarct Survival) Collaborative Group. Lancet 1992; 339: 753–770.
6. Berlin J. A., Colditz G. A.: The role of meta-analysis in the regulatory process for foods, drugs, and devices. JAMA 1999; 281: 830–834.
7. Teo K. K., Yusuf S., Collins R., Held P. H., Peto R.: Effects of intravenous magnesium in suspected acute myocardial infarction: overview of randomised trials. BMJ 1991; 303: 1499–1503.
8. A randomised factorial trial assessing early oral captopril, oral mononitrate, and intravenous magnesium sulphate in 58,050 patients with suspected acute myocardial infarction. ISIS-4 (Fourth International Study of Infarct Survival) Collaborative Group. Lancet 1995; 345: 669–685.
9. Leizorovicz A., Haugh M. C., Chapuis F. R., Samama M. M., Boissel J. P.: Low molecular weight heparin in prevention of perioperative thrombosis. BMJ 1992; 305: 913–920.
10. Nurmohamed M. T., Rosendaal F. R., Bueller H. R., Dekker E., Hommes D. W., Vandenbrouke J. P. et al.: Low-molecular-weight heparin versus standard heparin in general and orthopaedic surgery: a meta-analysis. Lancet 1992; 340: 152–156.
11. Carroll D., Tramèr M., McQuay H., Nye B., Moore A.: Randomization is important in studies with pain outcomes: systematic review of transcutaneous electrical nerve stimulation in acute postoperative pain. Br J Anaesth 1996; 77: 798–803.
12. Schulz K. F., Chalmers I., Hayes R. J., Altman D. G.: Empirical evidence of bias. JAMA 1995; 273: 408–412.
13. Moore R. A., Tramèr M. R., Carroll D., Wiffen P. J., McQuay H. J. Quantitative systematic review of topically-applied non-steroidal anti-inflammatory drugs. BMJ 1998; 316: 333–338.
14. Egger M., Zellweger-Zähner T., Schneider M., Junker C., Lengeler C., Antes G.: Language bias in randomised controlled trials published in English and German. Lancet 1997; 350: 326–329.
15. Vickers A., Goyal N., Harland R., Rees R.: Do certain countries produce only positive results? A systematic review of controlled trials. Control Clin Trials 1998; 19: 159–166.
16. Tramèr M. R., Reynolds D. J. M., Moore R. A., McQuay H. J.: Impact of covert duplicate publication on meta-analysis: a case study. BMJ 1997; 315: 635–640.
17. Pearson K.: Report on certain enteric fever inoculation statistics. BMJ 1904; 2: 1243–1246.
18. Engels E. A., Falagas M. E., Lau J., Bennish M. L.: Typhoid fever vaccines: a meta-analysis of studies on efficacy and toxicity. BMJ 1998; 316: 110–116.
19. Simes R. J.: Confronting publication bias: a cohort design for meta-analysis. Stat Med 1987; 6: 11–29.
20. Ioannidis J. P. A.: Effect of the statistical significance of results on the time to completion and publication of randomized efficacy trials. JAMA 1998; 279: 281–286.
21. Callaham M. L., Weber E., Young R., Wears R.: Time to publication of studies was not affected by whether results were positive (letter). BMJ 1998; 316: 1536.
22. Miller J. N., Colditz G. A., Mosteller F.: How study design affects outcomes in comparisons of therapy. II: surgical. Stat Med 1989; 8: 455–456, 1989.
23. Tramèr M. R., Moore R. A., McQuay H. J.: Propofol and bradycardia: causation, frequency and severity. Br J Anaesth 1997; 78: 642–651.
24. Noseworthy J. H., Ebers G. C., Vandervoort M. K., Farquhar R. E., Yetisir E., Roberts R.: The impact of blinding on the results of a randomized, placebo-controlled multiple sclerosis clinical trial. Neurology 1994; 44: 16–20.
25. L’Abbé K., Detsky A. S., O’Rourke K.: Meta-analysis in clinical research. Ann Intern Med 1987; 107: 224–233.
26. McQuay H. J., Moore R. A.: Using numerical results from systematic reviews in clinical practice. Ann Intern Med 1997; 126: 712–720.
27. Moore R. A., Gavaghan D., Tramèr M. R., Collins S., McQuay H. J.: Size is everything – The impact of event rate variation on clinical trials and meta-analysis. Pain 1998; 78; 208–216.
28. Arbeitsgemeinschaft Cochrane Collaboration: Die Cochrane Collaboration. SäZ 1996; 77: 117–120.
29. The Cochrane Library [database on disk and CD-ROM]. The Cochrane Collaboration. 1998, Update Software: Oxford. 1998.
Korrespondenzadresse: PD Dr. med. et phil. M. Tramèr, Division d’Anesthésiologie, Département APSIC, Hôpitaux Universitaires, 1211 Genève 14, E-mail: martin.tramer@hcuge.ch
