Das GesundheitsPortal für innovative Arzneimittel, neue Therapien und neue Heilungschancen
Fake-Studien und KI: Wie gefälschte Forschung in Gesundheitsantworten gelangt
Fast jeder zweite Mensch in Deutschland stellt Gesundheitsfragen inzwischen einer KI. Deren Antworten stützen sich auch auf Studien, die nie ernsthaft geprüft wurden. Teil 1 dieser Reihe zeigt, wie groß das Problem ist und auf welchem Weg es in die Antworten gelangt.
Von Detlef Ostfeld, We Social Commerce
Teil 1 von 2
Das Wichtigste in Kürze
- 45 Prozent der Menschen in Deutschland haben Gesundheitsfragen schon einmal an einen KI-Chatbot gestellt. 55 Prozent der Nutzer vertrauen den Antworten.1
- Die Datenbank Cabells Predatory Reports führt mehr als 20.000 betrügerische Fachzeitschriften, 2017 waren es rund 4.000.2
- Mutmaßlich gekaufte Studien aus sogenannten Paper Mills verdoppeln sich etwa alle 1,5 Jahre, Rückzüge nur alle 3,3 Jahre.4
- ChatGPT erwähnte in 6.510 Bewertungen zurückgezogener oder umstrittener Studien kein einziges Mal den Rückzug.6
Über diese Reihe
Günter Beisel und Dr. Karin Beisel-Ebert, die Herausgeber des DeutschenGesundheitsPortals, unterstützen diese zweiteilige Reihe. Der Grund liegt in ihrer täglichen Arbeit: Die Wissenschaftsredaktion des Portals prüft aktuelle Studien auf Herkunft und Evidenz, bevor sie übersetzt und zusammengefasst werden. Wer das jeden Tag tut, kennt den Unterschied zwischen einer begutachteten Arbeit und einer, die nur so aussieht. KI-Systeme leisten diese Prüfung bisher nicht zuverlässig, das zeigen die Daten in diesem Beitrag. Deshalb wollen die Herausgeber, dass Ärzte, Apotheken, Redaktionen und Patienten das Problem kennen. Ich untersuche bei We Social Commerce, welche Quellen KI-Systeme in Gesundheitsantworten nennen. Beide Perspektiven führen zum selben Befund.
Die KI sitzt mit am Beratungstisch
Laut einer repräsentativen Bitkom-Umfrage vom Herbst 2025 haben 45 Prozent der Menschen in Deutschland Gesundheitsfragen schon einmal an einen KI-Chatbot wie ChatGPT, Gemini oder Copilot gestellt. Mehr als die Hälfte der Nutzer, 55 Prozent, vertraut den Auskünften.1 Damit wandern KI-Antworten zwangsläufig mit ins Sprechzimmer, an den HV-Tisch der Apotheke und in die Recherche von Redaktionen.
Wer dort berät oder berichtet, muss eine neue Frage stellen: Auf welche Quellen stützt sich die Maschine? Die unbequeme Antwort lautet, dass darunter auch Studien sind, die den Namen nicht verdienen.
Fake-Studien sind ein Geschäftsmodell
Unter dem Begriff Fake-Studie laufen drei Phänomene zusammen. Raubverlage, im Englischen predatory journals, veröffentlichen gegen Gebühr fast alles und behaupten eine Begutachtung, die nicht stattfindet. Paper Mills stellen Manuskripte mit erfundenen Daten und kopierten Abbildungen in Serie her und verkaufen Autorenplätze. Seit 2023 kommen Arbeiten hinzu, die erkennbar mit generativer KI geschrieben wurden, ohne dass dies offengelegt ist.
Die Größenordnung ist belegt. Schon für 2014 schätzten Shen und Björk rund 8.000 aktive Raubjournale mit etwa 420.000 Artikeln in einem einzigen Jahr.3 Cabells bewertet Zeitschriften nach mehr als 70 Kriterien und hat im Februar 2026 die Marke von 20.000 gelisteten Titeln überschritten.2 2023 wurden weltweit erstmals mehr als 10.000 Fachartikel zurückgezogen, über 8.000 davon aus Zeitschriften des Wiley-Tochterverlags Hindawi. Diese Arbeiten waren zuvor zusammen mehr als 35.000-mal zitiert worden.5
Die härtesten Zahlen liefert ein Team um Reese Richardson und Luís Amaral von der Northwestern University. Es identifizierte 32.786 mutmaßliche Paper-Mill-Produkte, von denen nur rund 29 Prozent zurückgezogen waren, und maß, wie schnell die Fälschungen wachsen.4
Tabelle 1: Verdopplungszeiten im Vergleich (Richardson, Amaral et al., PNAS 2025)
| Kennzahl | Verdopplung alle | Rechnerischer Faktor nach 10 Jahren* |
| Mutmaßliche Paper-Mill-Studien | 1,5 Jahre | ca. 100 |
| Zurückgezogene Artikel | 3,3 Jahre | ca. 8 |
| Fachliteratur gesamt | 15 Jahre | ca. 1,6 |
* Fortschreibung der bisherigen Verdopplungszeiten, keine Prognose.
Die Korrektur der Wissenschaft hält mit der Fälschung nicht Schritt. Jahr für Jahr wächst der Bestand an Arbeiten, die niemand mehr prüft und die trotzdem auffindbar bleiben.
Was KI-Systeme daraus machen
Ein Team um Mike Thelwall von der University of Sheffield ließ ChatGPT 217 zurückgezogene oder umstrittene Studien je 30-mal bewerten. In keiner der 6.510 Bewertungen tauchte ein Hinweis auf Rückzug oder bekannte Fehler auf. 190 Studien erhielten relativ hohe Qualitätsnoten. Legten die Forscher dem System 61 Aussagen aus zurückgezogenen Arbeiten vor, bestätigte es zwei Drittel davon.6 Zur Einordnung: Getestet wurde GPT-4o-mini, ein kleineres Modell, ohne Websuche. Systeme mit Live-Recherche könnten besser abschneiden, belegt ist das für diesen Fall nicht.
In Nature Medicine zeigte ein Team der NYU Langone Health 2025, dass schon 0,001 Prozent medizinische Falschinformation in den Trainingsdaten Sprachmodelle hervorbringt, die häufiger schädliche Aussagen machen. Auf den üblichen Medizin-Tests fielen die manipulierten Modelle nicht auf.8 Es handelte sich um einen simulierten Angriff auf einen offenen Datensatz, nicht um einen Test kommerzieller Chatbots. Die Richtung ist trotzdem klar: Ein winziger Anteil schlechter Quellen genügt, um Antworten zu verschieben.
Hinzu kommen zwei Einfallstore, die auch Fachleute betreffen. Forscherinnen der Universitäten Borås und Lund fanden 139 fragwürdige, mutmaßlich mit GPT verfasste Arbeiten, die Google Scholar wie reguläre Forschung listet; 57 Prozent behandeln gesellschaftlich relevante Themen, darunter Gesundheit.7 Dass Raubjournale auch in PubMed gelangen, beschrieben Manca und Kollegen bereits 2018.9
Ausblick auf Teil 2
Die Daten zeigen ein Missverhältnis. Fälschungen wachsen schneller, als die Wissenschaft sie korrigieren kann, und KI-Systeme erkennen den Unterschied nicht zuverlässig. Teil 2 erklärt, warum daraus ein Risiko für Patienten entsteht, und zeigt, mit welchen Prüfschritten Ärzte, Apothekenteams, Redaktionen und Patienten gegensteuern können.
Quellen
- Bitkom: Repräsentative Umfrage zu Digital Health, 1.145 Personen ab 16 Jahren, September/Oktober 2025, veröffentlicht November 2025. bitkom.org
- Cabells: Predatory Reports Database Hits 20,000 Deceptive Journals, 3. Februar 2026. blog.cabells.com
- Shen, B.-C. Björk: ‘Predatory’ open access: a longitudinal study of article volumes and market characteristics. BMC Medicine 13, 230, 2015. doi:10.1186/s12916-015-0469-2
- A. K. Richardson, L. A. N. Amaral et al.: The entities enabling scientific fraud at scale are large, resilient, and growing rapidly. PNAS 122(32), e2420092122, 4. August 2025. doi:10.1073/pnas.2420092122
- Van Noorden: More than 10,000 research papers were retracted in 2023, a new record. Nature 624, 479–481, 2023. doi:10.1038/d41586-023-03974-8
- Thelwall, M. Lehtisaari, I. Katsirea, K. Holmberg, E.-T. Zheng: Does ChatGPT Ignore Article Retractions and Other Reliability Concerns? Learned Publishing 38(4), e2018, 2025. doi:10.1002/leap.2018
- Haider, K. R. Söderström, B. Ekström, M. Rödl: GPT-fabricated scientific papers on Google Scholar. Harvard Kennedy School Misinformation Review 5(5), 2024. doi:10.37016/mr-2020-156
- A. Alber et al.: Medical large language models are vulnerable to data-poisoning attacks. Nature Medicine 31, 618–626, 2025. doi:10.1038/s41591-024-03445-1
- Manca, D. Moher, L. Cugusi, Z. Dvir, F. Deriu: How predatory journals leak into PubMed. Canadian Medical Association Journal 190(35), 2018. doi:10.1503/cmaj.180154
Über den Autor
Detlef Ostfeld ist Mitgründer von We Social Commerce. Er untersucht, welche Quellen KI-Systeme im Gesundheitsmarkt nennen und wie geprüftes Fachwissen dort sichtbar wird. Kontakt: d.ostfeld@we-social-commerce.de
Fragen und fachlicher Austausch sind willkommen: linkedin.com/in/detlef-ostfeld-4763b5123