von GIDEON MEYEROWITZ-KATZ*
Eine betrügerische oder zumindest fehlerhafte Studie hat die Behandlung einer großen Zahl von Menschen mit Invermectin unterstützt
Ivermectin ist ein antiparasitäres Medikament, das zur Behandlung vieler Arten von Würmern und ähnlichen Krankheiten eingesetzt wird. Es ist sehr sicher, wird auf der ganzen Welt häufig verwendet und ist in den meisten Formen ein nützliches Medikament, das Sie zur Hand haben sollten, wenn Sie glauben, mit kontaminiertem menschlichen Kot in Berührung gekommen zu sein, oder wenn Sie einfach nur Ihre Schafe desinfizieren müssen.
Ivermectin hat jedoch aus einem anderen Grund viel Aufsehen erregt. Laut mehreren Gruppen ad hoc auf der ganzen Welt, sowie in einige wissenschaftliche Studien, Ivermectin ist eine Wunderwaffe gegen COVID-19. Auch wenn Zweifel bestehen, ob Ivermectin wirkt, empfiehlt die Weltgesundheitsorganisation, es zur Behandlung von COVID-19 einzusetzen nur im Rahmen einer klinischen Studie, es gibt auch viel Optimismus hinsichtlich seiner Verwendung als Behandlung. Ein halbes Dutzend Länder haben Ivermectin offiziell als Medikament gegen COVID-19 beworben, und es wurde wahrscheinlich inzwischen Dutzenden Millionen Menschen auf der ganzen Welt verabreicht die Preise explodieren infolge.
Das ist alles ein wenig besorgniserregend, wenn man bedenkt, dass wir nicht wirklich wissen, ob Ivermectin bei der Behandlung von COVID-19 wirkt, aber es ist verständlich, wenn man bedenkt, dass die teuersten Behandlungen nicht immer verfügbar sind und die Menschen etwas Billiges brauchen, das sie zumindest ausprobieren können . im Falle von Menschen, die an einer Infektion sterben. Es ist nicht ideal, aber es gibt einige Anzeichen dafür, dass Ivermectin wirkt und sehr sicher ist. Warum also nicht einen Versuch machen?
Außer eine Sache. Es scheint, dass einer der größten Versuche mit Ivermectin am Menschen ein raffiniertes wissenschaftliches Betrugswerk sein könnte. Es ist schwer zu sagen, ob die Studie tatsächlich stattgefunden hat. Wenn dies zutrifft, könnte dies bedeuten, dass Ivermectin absolut keinen Nutzen für COVID-19 hat und Dutzende Millionen Menschen auf der ganzen Welt in die Irre geführt wurden.
Schnall dich an, das ist ein holpriger Weg.
Metasuche
Bevor wir zur Studie selbst kommen, müssen wir hier etwas Wichtiges verstehen: Eine Studie allein verändert selten alles in der Medizin. Tatsache ist, dass einzelne Studien in der Regel relativ klein sind und daher eine gewisse Unsicherheit hinterlassen, die problematisch ist, wenn es darum geht, welche Medikamente Sie einnehmen, um Ihr Leben vor einer tödlichen Krankheit zu retten.
Um das Problem vieler kleiner Versuche zu lösen, führen wir sogenannte „Dinge“ durch systematische Reviews und Metaanalysen. Hierbei handelt es sich um wissenschaftliche Forschungszusammenfassungen, die alle bekannten Studien zu einem Thema an einem Ort zusammenfassen und sie dann in einem statistischen Modell kombinieren, damit wir sehen können, wie die Gesamtwirkung eines Arzneimittels aussehen könnte. Anstelle eines Dutzend kleiner Studien erhalten wir eine große Gesamtschätzung, die theoretisch das letzte Wort darüber ist, ob eine Behandlung wirksam ist oder nicht.
Das einzige Problem bei diesen Analysen besteht darin, dass eine einzelne Studie mit einer großen Teilnehmerzahl oder einem großen Effekt den Gesamttrend in etwas Positives umkehren kann, obwohl die Studien in der Regel keine Ergebnisse gefunden haben. Normalerweise stellt das kein großes Problem dar, aber es bedeutet, dass es manchmal eine ganze Reihe von Fachliteratur gibt, die besagt, dass etwas unter Verwendung der Goldstandard-Aggregation vieler Studien funktioniert, die tatsächlich auf den Ergebnissen einer einzigen Umfrage basiert.
Und hin und wieder erweist sich diese Studie als schrecklich fehlerhaft.
Die Studium
In diesem Sinne wollen wir mal sehen unser unruhiges Arbeitszimmer. Tatsächlich habe ich darüber schon einmal geschrieben – es handelt sich um einen Vorabdruck, der noch nicht in einer wissenschaftlichen Zeitschrift angenommen wurde und in veröffentlicht wurde Forschungsplatz von einer Gruppe ägyptischer Ärzte. Die Studie trägt den Titel „Wirksamkeit und Sicherheit von Ivermectin zur Behandlung und Prophylaxe der COVID-19-Pandemie“ und ist in ihrem reinen Wert recht beeindruckend: Die Autoren rekrutierten 400 Personen mit COVID-19 und 200 enge Kontakte und teilten sie nach dem Zufallsprinzip den Empfängern zu Ivermectin oder ein Placebo. Überraschenderweise ergab die Studie, dass die Wahrscheinlichkeit, dass Menschen, die mit Ivermectin behandelt wurden, starben, um 90 % geringer war als bei Menschen, die ein Placebo erhielten. Sollte dies zutreffen, wäre Ivermectin die unglaublich wirksamste Behandlung, die jemals in der modernen Medizin entdeckt wurde.
Wie es sich für die bisher größte randomisierte Einzelstudie zu Ivermectin bei COVID-19 gehört, sind seine Auswirkungen in der Literatur darüber hinaus unverhältnismäßig. Als Ich habe es dir schon einmal gezeigtWenn man nur dieses einzelne Forschungsstück aus mehreren metaanalytischen Modellen ausschließt, werden deren Ergebnisse fast vollständig umgekehrt. Es ist keine Übertreibung zu sagen, dass diese einzelne Forschungsarbeit fast den gesamten Glauben an die Vorteile weckt, die die Menschen derzeit Ivermectin zuschreiben.
Allerdings gibt es schon auf den ersten Blick einige Probleme. Die Autoren verwendeten für einige ihrer Ergebnisse die falschen statistischen Tests – für Technikbegeisterte geben sie Chi-Quadrat-Werte für kontinuierliche numerische Daten an – und ihre Methodik ist voller Lücken. Sie berichten von keiner Verschleierung der Zuteilung, es gibt Fragen dazu, ob es ein Intention-to-Treat-Protokoll gab oder ob Personen zwischen den Gruppen gewechselt wurden, und die Informationen zur Randomisierung sind völlig unzureichend. Da es sich um eine Studie handelt, scheint sie höchstwahrscheinlich voreingenommen zu sein, was es ziemlich schwierig macht, den Ergebnissen zu vertrauen.
Angesichts der Möglichkeit, dass die Studie nie stattgefunden hat, ist dies jedoch möglicherweise nicht überraschend.
Datenabweichungen
Die Probleme mit der Krepppapier Sie beginnen mit dem Protokoll, aber sie enden dort sicherlich nicht. In einer wirklich spektakulären Geschichte las ein britischer Masterstudent namens Jack Lawrence diesen Artikel und bemerkte etwas Seltsames – die gesamte Einleitung schien plagiiert worden zu sein. Es ist eigentlich ziemlich einfach, das zu bestätigen – ich habe ein paar Sätze aus verschiedenen Absätzen kopiert und in Google eingefügt und es ist sofort klar, dass der größte Teil des Intros ohne Namensnennung oder Quellenangabe von einer anderen Stelle im Internet stammt.
Das ist zwar ein schlechtes Zeichen, aber es kratzt kaum an der Oberfläche der hier vorliegenden Probleme. Wir könnten vielleicht einige Plagiate in einem Vorabdruck verzeihen, wenn er tatsächlich ein Wundermittel gefunden hätte, aber es gibt noch schlimmere Probleme im Text.
Es gibt zum Beispiel Zahlen, die unglaublich unwahrscheinlich, fast unmöglich sind. In Tabelle 4 zeigt die Studie den Mittelwert, die Standardabweichung und die Intervalle für die Erholungszeit bei den Studienpatienten. Das Problem besteht darin, dass es bei einem gemeldeten Bereich von 9 bis 25 Tagen, einem Mittelwert von 18 und einer Standardabweichung von 8 nur sehr wenige Zahleneinstellungen gibt, die diesem Ergebnis entsprechen würden. Sie können dies sogar mit berechnen das Sprite-Tool Entwickelt von den cleveren Betrugsdetektiven James Heathers, Nick Brown, Jordan Anaya und Tim Van Der Zee – auf einen Durchschnitt von 18 Tagen, der mit den anderen Werten übereinstimmt. Die meisten Patienten dieser Gruppe hätten 9 oder 25 Tage im Krankenhaus bleiben müssen genau. Nun, das ist vielleicht nicht ganz unmöglich, aber es ist so seltsam, dass es sehr ernsthafte Fragen über die Ergebnisse des Tests selbst aufwirft.
Irgendwie wird es noch schlimmer. Es stellt sich heraus, dass die Autoren die tatsächlichen Daten, die sie für die Studie verwendet haben, in ein Online-Repository hochgeladen haben. Obwohl die Daten gesperrt sind, konnte unser Held Jack Lawrence das Passwort der Datei – 1234 – erraten und sich Zugang zu den anonymen Informationen auf Patientenebene verschaffen, die die Autoren für die Zusammenstellung dieses Artikels verwendet haben.
die Datendatei ist noch online (und Sie können es für 9 US-Dollar zzgl. Steuern herunterladen) und es selbst prüfen. Ich habe ein Exemplar und es ist erstaunlich, wie offensichtlich die Mängel bereits auf den ersten Blick sind. Die Studie berichtet beispielsweise, dass sie eine ethische Genehmigung erhielt und am 8. Juni 2020 begann, aber in der Datendatei, die von den Autoren auf die Preprints-Website hochgeladen wurde, waren 1/3 der an COVID-19 verstorbenen Menschen bereits tot, als die Studie durchgeführt wurde Forscher begannen, ihre Patienten zu rekrutieren. Das ist nicht wirklich möglich, es sei denn, sie würden tote Menschen dazu bringen, ihrer Teilnahme am Prozess zuzustimmen.
Darüber hinaus scheinen etwa 25 % der gesamten Patientengruppe, die für diese angeblich prospektive randomisierte Studie rekrutiert wurde, bereits vor Beginn der Studie im Krankenhaus gewesen zu sein. anfangen, was entweder ein unglaublicher Verstoß gegen die Ethik oder ein sehr schlechtes Zeichen für potenziellen Betrug ist. Schlimmer noch, wenn man sich die Werte für verschiedene Patienten ansieht, scheint es, dass die meisten Patienten der Gruppe 4 einfach sind Klone untereinander, mit gleichen oder sehr ähnlichen Initialen, Begleiterkrankungen, Lymphozytenzahl usw.
Alle Dies sind klassische und charakteristische Anzeichen für wissenschaftlichen Betrug – In verschiedenen wissenschaftlichen Arbeiten werden wiederholte Segmente (mit geringfügigen Änderungen) in den Daten gefunden, die sich später als betrügerisch erweisen. Auch wenn es sich dabei nicht um reinen Betrug handelt, sind die ethischen Bedenken, Menschen randomisiert einer klinischen Studie zuzuordnen, bevor eine ethische Genehmigung vorliegt, enorm.
Ich werde nicht auf alle Diskrepanzen eingehen, die diese Daten zeigen. Soviel Jack Lawrence als Nick Brown Ich habe die Probleme sorgfältig untersucht und empfehle Ihnen dringend, beide Artikel zu lesen, bevor Sie fortfahren. Sie erläutern bis ins kleinste Detail alle Gründe, warum es ziemlich unwahrscheinlich erscheint, dass diese Studie wie beschrieben hätte stattfinden können.
Ich gebe Ihnen eine Sekunde, um dies zu lesen. Glauben Sie mir, es lohnt sich.
Okay, wir sind zurück. Deshalb stellten die Autoren einen Rohdatensatz online, der den Ergebnissen der von ihnen veröffentlichten Studie sehr ähnelt, aber auch offensichtlich falsch ist. Was bedeutet das?
Nun, es ist möglich, dass das ein großer Fehler ist. Möglicherweise haben die Autoren eine Tabelle erstellt, die zu sehr mit der Studie übereinstimmte, die aus unbekannten Gründen auch aus simulierten Informationen bestand, und diese dann versehentlich anstelle der tatsächlichen Informationen hochgeladen. Als sie die Datei online stellten, gelang es ihnen möglicherweise irgendwie, ein Dutzend Patienten fünfmal zu kopieren und einzufügen und so die tatsächlichen Werte zu überschreiben, um mit der Studie beginnen zu können.
Womöglich. Dies erscheint höchst unwahrscheinlich, insbesondere angesichts der Nähe der meisten Informationen in dieser Tabelle zu den Studienergebnissen, aber es ist möglich, dass dies ein Fehler von ansonsten glaubwürdigen Forschern war.
Andererseits besteht die sehr reale Möglichkeit, dass Teile oder sogar die gesamte Studie erfunden sind. Wir wissen es nicht – vielleicht werden wir es nie genau wissen –, aber angesichts der unmöglichen Zahlen, die selbst im Manuskript selbst enthalten sind, scheint es nicht weit hergeholt.
Folgen
Wörtlich genommen ist das sehr schlecht. Diese Studie wurde über 100.000 Mal aufgerufen und heruntergeladen und hat laut Google Scholar seit ihrer Erstveröffentlichung im November 30 2020 Zitate gesammelt. Dies bedeutet, dass diese potenziell betrügerische Forschung dazu genutzt wurde, die Behandlung auf Patienten auszurichten, zu diesem Zeitpunkt wahrscheinlich viele Menschen.
Aber es kommt noch schlimmer. Tatsächlich viel schlimmer.
Sie sehen, ein Großteil des Hypes um Ivermectin ist nicht auf diese einzelne Studie zurückzuführen, sondern, wie ich bereits sagte, auf die Metaanalysen. zwei Studien RecentesInsbesondere erregte großes Aufsehen, da beide behaupteten, mit höchster Beweisqualität zu zeigen, dass Ivermectin Leben rettet.
Das Problem besteht darin, dass Ivermectin fast seinen gesamten angeblichen Nutzen verliert, wenn man sich diese großen, aggregierten Modelle ansieht und nur diese eine Studie herausnimmt. Siehe die aktuelle Metaanalyse von Bryant et al.. Das war überall in den Nachrichten – sie stellten bei der Kombination randomisierter kontrollierter Studien fest, dass das lebenslange Risiko für Menschen, die mit Ivermectin behandelt wurden, im Vergleich zu den Kontrollpersonen um 62 % geringer war.
Wenn Sie jedoch Elgazzars Artikel aus Ihrem Modell entfernen und es erneut ausführen, steigt der Nutzen von 62 % auf 52 % und verliert weitgehend an statistischer Signifikanz. Bei Menschen mit schwerer COVID-19-Erkrankung wurde kein Nutzen beobachtet, und die Konfidenzintervalle für Menschen mit leichter und mittelschwerer Erkrankung werden extrem groß.
Auch wenn Sie einschließen eine weitere Studie Das Modell wurde nach der Veröffentlichung von Bryants Metaanalyse veröffentlicht, in der kein Nutzen von Ivermectin bei Todesfällen festgestellt wurde. Die im Modell beobachteten Vorteile verschwinden vollständig. zum anderen Aktuelle Metaanalyse, reicht es aus, Elgazzar einfach zu löschen, um den Buff vollständig zu entfernen.
Das ist wichtig. Das heißt, wenn diese Studie betrügerisch ist, hätte das enorme Auswirkungen, nicht nur für die Menschen, die ihr vertraut haben, sondern für alle Untersuchungen, die sie in ihre Analyse einbezogen haben. Bis es eine vernünftige Erklärung für die zahlreichen Diskrepanzen in den Daten gibt, ganz zu schweigen von den unplausiblen Zahlen in der Studie, sollte jede Analyse, die diese Ergebnisse enthält, als verdächtig angesehen werden. Angesichts der Tatsache, dass es sich derzeit um die größte randomisierte klinische Studie zu Ivermectin bei COVID-19 handelt und die meisten Analysen sie bisher einbezogen haben, ist dies eine wirklich besorgniserregende Situation für die gesamte Literatur.
Wie auch immer
Die etwas erschreckende Realität ist, dass eine enorme Anzahl von Menschen mit Ivermectin behandelt wurde, größtenteils auf der Grundlage einer Studie, die zwar nicht völlig betrügerisch, aber so fehlerhaft war, dass sie ohnehin nie für medizinische Entscheidungen hätte herangezogen werden dürfen. Selbst wenn wir die mit der Studie gelieferten falschen Daten ignorieren, ist es schwierig, die unzähligen anderen Probleme zu ignorieren, die die Forschung aufzeigt.
Wo bleibt uns die Frage, ob Ivermectin bei COVID-19 wirkt? Nun, zunächst einmal: Sobald man Elgazzar aus dem Forschungspool ausschließt, zeigen die derzeit besten Beweise einen ziemlich konsistenten Mangel an Nutzen. Es gibt noch ein oder zwei sehr positive kleine Studien, aber insgesamt scheint Ivermectin das Risiko, an COVID-19 zu sterben, nicht zu verringern.
Jetzt sind da viel größere Proben Ich arbeite daran, diese Frage mit Sicherheit zu beantworten, und ich freue mich auf Ihre Ergebnisse. Wie ich bereits sagte, besteht das Hauptproblem derzeit darin, dass die Beweise sowieso nicht gut genug sind, um sicher zu sein. Wenn jedoch der bisher größte Einzelversuch mit einem Medikament betrügerisch war, ist das kein vielversprechendes Zeichen.
Auch wir haben eine monumentale Abrechnung vor uns. Es sollte nicht notwendig sein, dass ein Masterstudent/investigativer Journalist sich eine Studie anschaut, um zu erkennen, dass es sich möglicherweise um einen Betrug handelt. Diese Studie wurde von Dutzenden von Wissenschaftlern überprüft, inklusive mir, und obwohl ich sagte, dass die Qualität extrem niedrig sei, habe ich die Probleme mit den Daten nicht bemerkt.
Es ist mehr als sechs Monate her, seit diese Studie online gestellt wurde. Allen Hinweisen zufolge wurden die Ergebnisse dieser Forschung zur Behandlung von Tausenden oder vielleicht sogar Millionen Menschen auf der ganzen Welt genutzt. Und doch ist bisher niemandem aufgefallen, dass der größte Teil der Einleitung [des Artikels] plagiiert ist?
Die wissenschaftliche Gemeinschaft und wir edlen Verteidiger der Wahrheit haben es vermasselt.
Es gibt für mich kein schönes, einfaches Ende, das ich hier abschließen könnte. Die Untersuchung dieser Studie ist noch im Gange und eines Tages werden wir vielleicht die vollständige Geschichte haben, aber inzwischen ist der Schaden angerichtet.
Das wissenschaftliche Unternehmen lässt sich gerne von der Idee begeistern, dass Wissenschaft „sich selbst korrigiert“ – dass Mängel und Irrtümer im Laufe des wissenschaftlichen Prozesses entdeckt werden. Aber das war kein Fehler. Akkreditierte Experten haben diese Studie gelesen und das Risiko einer Verzerrung als NIEDRIG eingestuft. Nicht einmal, sondern wiederholt. Ärzte untersuchten es und sahen trotz der Probleme, die die Forschung selbst bei oberflächlicher Analyse mit sich bringt, ein Wundermittel.
Ich bin mir nicht sicher, ob diese Studie betrügerisch ist, und wir werden es vielleicht nie erfahren. Aber wir wissen, dass niemand es jemals als Beweis für irgendetwas hätte verwenden dürfen. Wir müssen die Tatsache anerkennen, dass eine wirklich schändliche Umfrage, die sich möglicherweise als Scherz herausstellt, online gestellt und dazu genutzt wurde, die Behandlung von Millionen von Menschen auf der ganzen Welt zu beeinflussen.
Und niemand bemerkte es, bis es zu spät war.
*Gideon Meyerowitz-Katz, ein Epidemiologe, ist Doktorand an der University of Wollongong, Australien.
Tradução: Sean Purdy e Leandro Tessler für das Magazin Wissenschaftliche Frage.
