Contact
QR code for the current URL

Story Box-ID: 969518

Zentralverband Oberflächentechnik e.V. Giesenheide 15 40724 Hilden, Germany http://www.zvo.org
Contact Ms Birgit Spickermann +49 2103 255621

Wissenschaft als Basis politischer Entscheidungen: Ein Beispiel zur Prüfung von Studien auf Aussagefähigkeit

(PresseBox) (Hilden, )
Der Zentralverband Oberflächentechnik e.V. (ZVO) hat zusammen mit dem europäischen Oberflächenverband CETS einen Vorschlag erarbeitet, wie spezielle wissenschaftliche Arbeiten auch durch „Nicht-Experten“ im jeweiligen Fachgebiet beurteilt werden können. Im Folgenden wird eine aktuelle Studie zu Langzeitwirkungen von nanoskaligen Partikeln fünf wissenschaftlichen Kriterien unterzogen. Aufgrund der Ergebnisse ist die Frage nach der Eignung der Studie für politische Maßnahmen und Regelungen zu verneinen. Gleichzeitig wird gezeigt, dass diese Feststellung bereits für informierte Laien möglich ist.

Bei der Prüfmethode von CETS und ZVO geht es nicht um die Entscheidung, ob eine Studie richtig oder falsch ist. Es geht darum, deren Aussagefähigkeit und wissenschaftliche Belastbarkeit zu beurteilen. Nur wenn eine Datenquelle hinreichend plausible und wissenschaftlich fundierte Ergebnisse vorlegt, sollte sie im weiteren Entscheidungsweg berücksichtigt werden.

Im März 2018 wurde beispielsweise eine Studie vorgelegt, die die chronische Toxizität von Nanomaterialien am Beispiel von Ceroxid (CeO2) bewerten sollte[1]. Viele Entscheidungsträger sind auf die Aussagen der „Experten“ angewiesen, ohne sie tatsächlich überprüfen zu können.

Im Folgenden wird anhand der angesprochenen Studie dargelegt, wie sich dennoch eine fundierte Aussage fällen lässt, ob die vorgelegten Informationen bei der Entscheidungsfindung helfen können. Dazu ist es nicht nötig, sich durch viele Seiten voller Fachtermini zu kämpfen. Hilfreich ist ein detailliertes Inhaltsverzeichnis, das den Weg zu den Kernaussagen ebnet. Längere Texte ohne ein solches Inhaltsverzeichnis sollten sofort Misstrauen hervorrufen.

Die Methode von CETS und ZVO verwendet fünf hierarchisch geordnete Kriterien[2]. Sie werden in fester Reihenfolge angewendet (siehe Abbildung). Sollte eines der Kriterien als nicht ausreichend bewertet werden, sind alle folgenden ohne Bedeutung und die Informationsquelle kann nicht als Basis weiterer Entscheidungen dienen.

Reproduzierbarkeit

Erstes Kriterium der Betrachtung ist die Reproduzierbarkeit. Da sich die exemplarisch betrachtete Studie auf spezifische Aussagen zur Wirkung von CeO2 beruft[3], sollten identische, unabhängig gewonnene Ergebnisse beispielsweise aus Arbeiten eines anderen Arbeitskreises vorliegen. Analoge Ergebnisse mit anderen Substanzen (wie für TiO2 zitiert) genügen hier nicht. Andernfalls müssten die Ergebnisse auf allgemeine Eigenschaften wie nanoskaligen Staub zurückgeführt werden.

Da solche Ergebnisse zum Vergleich nicht vorliegen bzw. nicht diskutiert werden (obwohl in der Referenzliste Untersuchungen zum nanoskaligen CeO2 genannt werden[4], die allerdings noch unveröffentlicht waren), ist Reproduzierbarkeit nicht nachweisbar.

Singuläre Beobachtungen sind keine Basis von sorgfältiger Wissenschaft („sound science“). Sie dienen allenfalls der wissenschaftlichen (nicht politischen) Hypothesenbildung.

An dieser Stelle könnte die Beurteilung nach der CETS/ZVO-Methode bereits abgebrochen werden, da diese Studie (noch) nicht für politische, regulative Entscheidungen herangezogen werden sollte. Jedoch soll zum Verständnis der Methode noch auf die weiteren Kriterien eingegangen werden.

Aussagefähigkeit

Zweites Kriterium ist die Aussagefähigkeit. Dabei wird betrachtet, ob sich die vorliegende Studie mit den gewünschten oder notwendigen Sachverhalten für weitere Entscheidungen auf dem aktuellen Themengebiet befasst. Wie die Studie selbst ausführt, sollen Aussagen zur Langzeitwirkung gewonnen werden, die unter anderem „für eine Umwelt- oder Arbeitsplatzexposition am ehesten relevant sind“. Eine Übertragung in übliche Umwelt- und Arbeitsplatzgegebenheiten soll möglich sein. Die für die Studie gewählten Versuchsbedingungen sind jedoch kaum mit zu erwartenden realen Gegebenheiten in Einklang zu bringen. Die Versuchstiere (in Summe wohl 500 Ratten) wurden Expositionen von 100 bis 3.000 µg/m3 ausgesetzt. Die Exposition erfolgte über 24 Monate ohne Pause. Es wird sofort deutlich, dass hier Bedingungen geschaffen wurden, die nicht mit modernen, in Deutschland üblichen Arbeitsbedingungen übereinstimmen. Auch sind Auswirkungen derart übertrieben hoher, staubförmiger Expositionen jedem unvorsichtigen Heimwerker als Reizung der Bronchien und der Lunge bekannt. Wie die Ergebnisse auf die Umwelt zu übertragen wären, erschließt sich nicht.

Die Aussagefähigkeit der Studie ist an dieser Stelle infrage zu stellen. Auch hier könnte die Bewertung bereits abgebrochen werden.

Repräsentativität

Repräsentativität als drittes Kriterium ist gegeben, wenn die Ergebnisse der Experimente hinreichend gut erweitert werden können. Naturgemäß sind Experimente beschränkt. Es gilt also zu betrachten, ob sie überhaupt in größerem Rahmen Berücksichtigung finden können.

Die Erweiterbarkeit toxikologischer Untersuchungen an Ratten ist gebunden an die Übertragbarkeit der Wirkungen vom Tier auf den Menschen. Die Studie diskutiert die Zulässigkeit dieser Übertragbarkeit, zum Beispiel durch Vergleiche mit epidemiologischen Daten bei Menschen, jedoch nicht. Noch bezeichnender ist, dass laut Bericht einige Wirkungen auch bei unbehandelten Tieren zu beobachten waren. Es ist daher fraglich, wie die Ergebnisse der Studie auf andere Umgebungen übertragen werden sollten. Als Basis weitergehender Entscheidungen und Maßnahmen ist die Studie ungeeignet und wieder kann die Bewertung hier eigentlich enden.

Richtigkeit

Richtigkeit ist das vierte Kriterium, bei dem systematische Fehler zu identifizieren bzw. auszuschließen sind. Finden sich keine systematischen Fehler, können die Ergebnisse als richtig gelten, auch wenn es kein Beweis für Richtigkeit ist. Der Nachweis systematischer Fehler führt jedoch sofort zum Verwerfen der Ergebnisse – eine erneute Untersuchung unter Eliminierung der Fehler ist zwingend.

Die Studie weist mindestens zwei grundsätzliche systematische Fehler auf: Erstens setzt sie implizit Stoffeinfluss voraus. Da lediglich CeO2 untersucht wurde, werden Wirkungen auf die Substanz als solche zurückgeführt. Die Versuche mit unbehandelten Kontrollgruppen können diesen Fehler nicht beseitigen. Es wäre sinnvoll gewesen, die Versuche mit anderen Substanzen analog durchzuführen. Möglicherweise hätte sich schnell gezeigt, dass allein die Erscheinungsform des Stoffes (Staub, nanoskalig) von entscheidender Bedeutung ist.

Zweitens will die Studie nach eigenen Worten die „Wirkungen im Bereich niedriger Belastungen, die für eine Umwelt- oder Arbeitsplatzexposition am ehesten relevant sind“ untersuchen (Seite 15). Die gewählten Expositionshöhen (100 bis 3.000 µg/m3) liegen aber eher im seltenen Hochdosisbereich bei Umwelt und Arbeitsplätzen. Diese Aspekte lassen Zweifel an der Richtigkeit der gezeigten Ergebnisse für die vorgesehenen Aussagen aufkommen.

Genauigkeit

Auch die Genauigkeit als letztes Kriterium soll betrachtet werden. Hier sind zwei Aspekte bedeutsam: Erstens sind die Analysenergebnisse von CeO2 in den Gewebeproben fragwürdig. Sie erfolgten unter 4- bzw. 5-Punkt-Kalibration durch Standardaddition (siehe beispielsweise Seite 24). Es sind keine Analysenunsicherheiten angegeben. Die Bestimmung von Nachweis- und Bestimmungsgrenze wird nicht verifiziert bzw. ist nicht nachvollziehbar. Zudem sind die Angaben auf Seite 25 zum Hintergrundlevel auf „Lunge“ bezogen. Eine Aussage zum analytischen Rauschen wird somit nicht getroffen. Seite 27 zeigt schon grafisch, dass die Diskussion der Analysenschwankungen jedoch dringend geboten gewesen wäre, da die Messwerte offensichtlich signifikant um die Korrelationskurven streuen.

Zweitens zeigt die Zusammenführung der Ergebnisse in den Conclusions (siehe Seite 61 ff.) eine uneinheitliche Zuordnung der Wirkungen. Zudem versteigt sich die Studie zu der spekulativen Vermutung: “On the other hand, there was a marked individual variation in the inflammatory response of the rats in all test groups, especially in the low CeO2 doses after 24 months of exposure as well as after 30 months. The reason for this difference in the inflammatory reaction to CeO2 inhalation is unknown, but is probably due to genetic variability of the rat strain being the outbred strain“ (Seite 63). Ohne jeden Beweis wird die Varianz der Ergebnisse ohne ausführliche Fehlerdiskussion der genetischen Varianz zugeordnet.

Fazit

Die CETS/ZVO-Methode hilft dabei zu beurteilen, ob sich vorliegende, wissenschaftliche Untersuchungen als Grundlage für politische, regulative Maßnahmen eignen. Die Anwendung fünf einfacher Kriterien auf die oben genannte Studie führt rasch zum Verwerfen einer solchen Eignung. Politische Folgerungen aus derartigen Datenquellen sind nicht begründbar. Der Wert für die wissenschaftliche Forschung wird hingegen nicht infrage gestellt. Doch dort sollte eine solche Studie auch zunächst verbleiben – als Hypothesenbildner.

[1] https://www.bmu.de/fileadmin/Daten_BMU/Pools/Forschungsdatenbank/fkz_3712_61_206_toxizitaet_kanzerogenitaet_nano_bf.pdf

[2] https://www.zvo.org/aktuelles/news/fundierte-wissenschaft-sound-science-erkennen.html

[3] Seite 62: “Incidence and severity of the alterations and their rate of progression are influenced by the inherent toxicity of the particle…”

[4] Schwotzer D, Niehof M, Schaudien D, Kock H, Hansen T, Dasenbrock C, Creutzenberg O: Cerium oxide and barium sulfate nanoparticle inhalation affects gene expression in alveolar epithelial cells type II. J Nanobiotechnology 2018 (in press)

Website Promotion

Website Promotion

Zentralverband Oberflächentechnik e.V.

Der Zentralverband Oberflächentechnik e.V. (ZVO) vertritt die Interessen von Roh- und Verfahrenslieferanten, Anlagenherstellern, Komponentenherstellern, Dienstleistern, Beschichtern und Galvaniken der deutschen Galvano- und Oberflächentechnik. Seine Mitgliedsunternehmen sind im Bereich der Oberflächenveredelung mit Metallen oder Metallverbindungen aus flüssigen Prozessmedien tätig. Für Abnehmerindustrien, Politik und Behörden ist der ZVO zentraler Ansprechpartner zu wirtschafts-, umwelt-, energie- und bildungspolitischen Fragen mit Bezug auf Galvano- und Oberflächentechnik.

Über die Galvano- und Oberflächentechnik:

Die Galvano- und Oberflächentechnik ist eine mittelständisch geprägte Industriebranche, die europaweit rund 440.000 Mitarbeiter beschäftigt, davon 50.000 in Deutschland. Allein in Deutschland erwirtschaftet die Branche einen Umsatz von ca. 7,5 Mrd. EUR. Die Struktur der Galvanobetriebe wird dabei von KMUs dominiert, nur ein geringer Anteil der Betriebe erreicht Größen von mehr als 100 Mitarbeitern. Die Oberflächenbranche ist eine Schlüsselindustrie, deren Dienstleistung Voraussetzung für die Funktionalität von Bauteilen, Geräten und Maschinen nahezu jeder anderen Branche ist. Die Galvanotechnik verhindert dabei jährlich Korrosionsschäden von ca. 150 Mrd. EUR. Galvanotechnik ermöglicht eine zuverlässige Funktionalität einer Vielzahl unterschiedlichster Bauteile: Kein Auto verlässt mehr das Band, bei dem nicht wesentliche Teile oberflächenveredelt sind. Die moderne Medizintechnik ist ohne neuere Verfahren der Oberflächentechnik nicht denkbar, aber auch Bauwirtschaft und Sanitärindustrie, die Elektrotechnik und die Elektronikindustrie sowie die Flugzeugindustrie kommen ohne Oberflächenveredelung nicht aus.

Mehr Informationen: www.zvo.org

The publisher indicated in each case (see company info by clicking on image/title or company info in the right-hand column) is solely responsible for the stories above, the event or job offer shown and for the image and audio material displayed. As a rule, the publisher is also the author of the texts and the attached image, audio and information material. The use of information published here is generally free of charge for personal information and editorial processing. Please clarify any copyright issues with the stated publisher before further use. In case of publication, please send a specimen copy to service@pressebox.de.
Important note:

Systematic data storage as well as the use of even parts of this database are only permitted with the written consent of unn | UNITED NEWS NETWORK GmbH.

unn | UNITED NEWS NETWORK GmbH 2002–2024, All rights reserved

The publisher indicated in each case (see company info by clicking on image/title or company info in the right-hand column) is solely responsible for the stories above, the event or job offer shown and for the image and audio material displayed. As a rule, the publisher is also the author of the texts and the attached image, audio and information material. The use of information published here is generally free of charge for personal information and editorial processing. Please clarify any copyright issues with the stated publisher before further use. In case of publication, please send a specimen copy to service@pressebox.de.