Guidance of EFSA
External Scientific Report
Unsicherheit bei der wissenschaftlichen Bewertung
Wir können uns über die Zukunft nie völlig sicher sein, weder in der Wissenschaft noch im Alltag. Selbst wenn es aussagekräftige Hinweise darauf gibt, dass etwas passieren wird, ist der letztliche Ausgang fast immer mit Unsicherheiten behaftet. Tragen wir diesen Unsicherheiten jedoch Rechnung, können wir oft bessere, transparentere Entscheidungen bezüglich der Faktoren treffen, die das Ergebnis beeinflussen können.
Hintergrund
Die Bewertung und Berücksichtigung von Unsicherheiten ist normaler Bestandteil des wissenschaftlichen Arbeitens sowie des täglichen Lebens. So werten etwa Meteorologen Satellitenbilder aus, um Vorhersagen über das Wetter zu treffen. Selten sind sie sich 100 Prozent sicher, was passieren wird. Bei ihrer Vorhersage geben sie daher üblicherweise an, wie wahrscheinlich diese ist. Wenn sie sagen, dass es mit „großer Wahrscheinlichkeit“ regnen wird, werden Sie wahrscheinlich entscheiden, nicht ohne Ihren Regenschirm nach draußen zu gehen. Ist hingegen von einer „leichten“ Regenwahrscheinlichkeit die Rede, ist es wahrscheinlicher, dass Sie entscheiden, den Regenschirm zu Hause zu lassen. Geben die Meteorologen die Regenwahrscheinlichkeit in Prozent an – z.B. mit 90% oder 10% – wird für viele von uns wird die Botschaft noch klarer.
Das gleiche Prinzip gilt bei der Lebensmittelsicherheit. So können Wissenschaftler etwa beauftragt werden, die Sicherheit eines neuen Lebensmittels, Pestizids oder durch Lebensmittel übertragenen Bakteriums zu bewerten. Sind die Hinweise oder Erkenntnisse unvollständig, versuchen sie zu erklären, wie die damit einhergenden Unsicherheiten ihre Schlussfolgerungen beeinflussen können.
Sie nehmen eine „Unsicherheitsbewertung“ vor, um die wissenschaftlichen Unsicherheiten zu ermitteln, zu beschreiben und ihre Auswirkungen auf die Entscheidungsfindung zu erläutern. Sie können angeben, ob es mehr als ein mögliches Ergebnis gibt und welches die relative Wahrscheinlichkeit eines jeden ist.
Wie bei der Wettervorhersage ist es bei der Entscheidungsfindung wichtig zu wissen, wie sicher die Wissenschaftler sich sind (z.B. zu 10%, 50% oder 90%). Diese Informationen erlangen essenzielle Bedeutung, wenn die Entscheidungen schwerwiegende Folgen für die Gesundheit von Mensch und Tier bzw. die Umwelt haben.
Aktuelles
August 2023 Ein neues Multimedia-Tutorial bietet eine praktische Einführung in die Nutzung der EFSA-Leitliniendokumente zur Analyse und Kommunikation von Unsicherheiten bei wissenschaftlichen Bewertungen. Das Tutorial enthält Videoerklärungen, die in ein Dashboard eingebettet sind, welches Zugang zu den wichtigsten Abschnitten dieser Dokumente bietet.
Meilensteine
2021
November
Die EFSA und die GD SANTE (Generaldirektion Gesundheit und Lebensmittelsicherheit der Europäischen Kommission) veranstalten gemeinsam einen zweitägigen Schulungsworkshop mit Risikomanagern zum Thema Unsicherheit mit dem Titel „Grad der Gewissheit in wissenschaftlichen Gutachten: Auswirkungen auf Risikomanagement und Kommunikation“. Risikomanager der Kommission und der Behörden der Mitgliedstaaten nehmen daran teil, um die Nützlichkeit zugänglicher Unsicherheitsinformationen hervorzuheben und Vorschläge für weitere Verbesserungen zu machen.
2019
Januar
Die EFSA veröffentlicht Leitlinien zur Kommunikation von Unsicherheit in wissenschaftlichen Bewertungen. Die Leitlinien ergänzen die technischen Leitlinien des Wissenschaftlichen Ausschusses der EFSA zur Unsicherheitsanalyse Methode zur Identifizierung von Quellen, Ausmaß und Richtung der Unsicherheit bei Berechnungen im Rahmen der Risikobewertung, sodass möglichen Fehlern Rechnung getragen werden kann. in wissenschaftlichen Bewertungen aus dem Jahr 2018. Die EFSA setzt diese beiden neuen Leitliniendokumente für Bewerter und Kommunikatoren schrittweise um.
Der neue Ansatz der EFSA zur Kommunikation wissenschaftlicher Unsicherheiten wurde durch die Kombination des Fachwissens von Sozialwissenschaftlern, Naturwissenschaftlern und Kommunikatoren ermöglicht. Das Wissen der Experten über die Sozialforschung zum Verständnis von Unsicherheiten in der Bevölkerung Kollektiv von Menschen, Tieren oder Pflanzen derselben Art. Bei Menschen spricht man auch von Bevölkerung. und ihre Fähigkeit, dieses Wissen auf den Kontext der Lebensmittelsicherheit anzuwenden, war für die Entwicklung dieser neuen Kommunikationsmethodik von entscheidender Bedeutung.
2018
Herbst
Die EFSA setzt ihre Leitlinien zur Unsicherheitsanalyse in zwei Stufen um: in allgemeinen wissenschaftlichen Bereichen ab Herbst 2018, in regulierten Produktbereichen schrittweise in den kommenden Jahren.
Januar
Veröffentlichung von Leitlinien zur Unsicherheitsanalyse in wissenschaftlichen Bewertungen, des harmonisierten Ansatzes der EFSA zur Bewertung und Berücksichtigung von Unsicherheiten in der Lebensmittelsicherheit sowie der Tier- und Pflanzengesundheit.
2017
Dezember
Ein EFSA-Workshop mit Risikobewertern und -managern im Anschluss an die Erprobung des EFSA-Leitlinienentwurfs zum Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung unterstützt die Sachverständigen bei der Fertigstellung des neuen harmonisierten Ansatzes.
2016
März
Die Wissenschaftlichen Gremien der EFSA beginnen, den überarbeiteten Leitlinienentwurf im Rahmen mindestens einer ihrer wissenschaftlichen Bewertungen zu testen. Rückmeldungen aus einer 2015 durchgeführten öffentlichen Konsultation helfen den Sachverständigen der EFSA, wichtige Aspekte des vorigen Entwurfs zu überarbeiten und klarzustellen.
2015
Juni
Die EFSA führt eine öffentliche Konsultation zu ihrem Leitlinienentwurf über den Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung durch. In dem Dokument wird eine neue standardisierte Toolbox an Methoden zur Analyse, Erklärung und Berücksichtigung von Unsicherheiten bei der wissenschaftlichen Bewertung vorgeschlagen.
Führende Experten und Praktiker im Bereich der Regulierungswissenschaft aus Europa und der ganzen Welt nehmen an einem von der EFSA organisierten Workshop teil, um Feedback und Erkenntnisse aus ihren laufenden Bemühungen zusammenzutragen, die bereichsübergreifenden Methoden zu harmonisieren und zu stärken, auf die sich ihre wissenschaftlichen Bewertungen stützen.
2013
Der Wissenschaftliche Ausschuss der EFSA fordert ein Selbstmandat zur Erarbeitung von Leitlinien für den Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung im Rahmen eines bedeutenden Vorstoßes für mehr Robustheit, Transparenz und Offenheit bei der wissenschaftlichen Bewertung (Increasing robustness, transparency and openness of scientific assessments).
2009
Der Wissenschaftliche Ausschuss der EFSA veröffentlicht seine allgemeinen Grundsätze für die Gewährleistung von Transparenz bei der Risikobewertung Spezialgebiet der angewandten Wissenschaften, in dem wissenschaftliche Daten und Studien ausgewertet werden, um die mit bestimmten Gefahren einhergehenden Risiken zu beurteilen. Dies umfasst vier Schritte: Gefahrenidentifizierung, Gefahrencharakterisierung, Expositionsabschätzung und Risikocharakterisierung., einschließlich der Notwendigkeit, Unsicherheiten zu identifizieren und charakterisieren.
2007
Januar
Der Wissenschaftliche Ausschuss der EFSA veröffentlicht ein wissenschaftliches Gutachten im Zusammenhang mit Unsicherheiten bei der Abschätzung der ernährungsbedingten Exposition Konzentration oder Menge eines bestimmten Stoffs, die von einem Menschen, einer Population oder einem Ökosystem mit einer bestimmten Häufigkeit über einen bestimmten Zeitraum hinweg aufgenommen wird. (Uncertainties in dietary exposure assessment).
Rolle der EFSA
Der Wissenschaftliche Ausschuss der EFSA entwickelt harmonisierte Risikobewertungsmethoden zu wissenschaftlichen Fragen horizontaler Art in Bereichen, die in das Aufgabengebiet der EFSA fallen und in denen noch keine EU-weit gültigen Verfahren festgelegt wurden.
Die EFSA ersuchte den Wissenschaftlichen Ausschuss, Leitlinien zu entwickeln, um Unsicherheiten bei der Risikobewertung zu charakterisieren, zu dokumentieren und zu erklären. Dies umfasst Unsicherheiten auf den verschiedenen Stufen der Risikobewertung, d.h. bei der Gefahrenidentifizierung Der erste Schritt bei der Risikobewertung, zur Ermittlung von biologischen, chemischen und physikalischen Agenzien, die gesundheitsschädliche Wirkungen hervorrufen können. und -beschreibung, der Expositionsabschätzung Einer der Hauptschritte der Risikobewertung, bei dem es um eine eingehende Bewertung der Frage geht, wer oder was einer Gefahr ausgesetzt ist, und in welchen (zu quantifizierenden) Mengen. und der Risikobeschreibung. Der harmonisierte Ansatz soll letztlich für alle betreffenden Arbeitsbereiche der EFSA gelten.
Der Wissenschaftliche Ausschuss richtete eine Arbeitsgruppe ein, um Vorarbeiten für seinen Leitlinienentwurf zum Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung durchzuführen.
FAQ
Wissenschaft ist das Streben nach Wissen. Wissenschaftler bemühen sich unentwegt, die Lücken des menschlichen Wissens darüber, wie die Welt funktioniert, zu schließen. Sie wissen oft sehr viel über ihre Fachgebiete – und auch darüber, was noch unbekannt ist. Ihr Vertrauen in die eigenen Schlussfolgerungen beruht auf der Qualität der verfügbaren wissenschaftlichen Evidenz, ihrer jeweiligen Erfahrung und ihrem Urteilsvermögen bei der Interpretation der Evidenz sowie ihrem Verständnis der möglichen Auswirkungen dessen, was sie nicht wissen (d.h. der Unsicherheiten).
Die Bestimmung und Beschreibung wissenschaftlicher Unsicherheiten sowie die Erklärung deren Bedeutung für die Bewertungsergebnisse sind wesentliche Aspekte einer transparenten wissenschaftlichen Beratung. Beim Umgang mit Unsicherheit müssen Entscheidungsträger wissen, wie die möglichen unterschiedlichen Ergebnisse aussehen könnten und wie wahrscheinlich diese jeweils sind. Die Art und Weise, in der Wissenschaftler Unsicherheiten berichten bzw. öffentliche Einrichtungen wie die EFSA sie Entscheidungsträgern, Interessengruppen und der breiten Öffentlichkeit vermitteln, kann die Wahrnehmung der bei der Bewertung ermittelten Risiken und Nutzen beeinflussen und sich auf die diesbezüglichen politischen Entscheidungen auswirken. Dies kann auch direkten oder indirekten Einfluss auf die Entscheidungen von Einzelpersonen haben.
Risikobewertungsstellen wie die EFSA haben die Aufgabe, im Rahmen der Leistung wissenschaftlicher Beratung für Entscheidungsträger und andere Interessengruppen auch damit zusammenhängende Unsicherheiten zu beschreiben. Im Verantwortungsbereich der Entscheidungsträger liegt es zu klären, welchen Einfluss die Unsicherheiten auf ihre Entscheidungen haben, d.h. zu entscheiden, ob und wie den Unsicherheiten bei der Entscheidungsfindung Rechnung getragen werden sollte.
Wissenschaftler sind stets bestrebt, auf eine Vielzahl unterschiedlichster Faktoren einzugehen, die zu Unsicherheit in ihren wissenschaftlichen Bewertungen führen können. Der Wissenschaftliche Ausschuss der EFSA definiert Unsicherheit als „jede Art der Einschränkung des Wissens, das Bewertern zum Zeitpunkt der Bewertung, sowie im Rahmen der für die Bewertung vorhandenen Zeit und Ressourcen, zur Verfügung steht.“ Beispiele sind etwa:
- mögliche Einschränkungen der Qualität und Repräsentativität von Daten
- Vergleiche nicht standardisierter Daten zwischen Ländern oder Kategorien
- die Wahl eines bestimmten Vorhersage-Modells gegenüber einem anderen
- die Verwendung von Standardfaktoren (z.B. das Gewicht eines durchschnittlichen Erwachsenen)
Die Qualifizierung von Unsicherheit mit Begriffen wie „vernachlässigbar“, „gering“ oder „hoch“ kann eine gewisse Vorstellung bezüglich des Grads der Sicherheit eines Bewertungsergebnisses vermitteln. Allerdings werden solche Begriffe von verschiedenen Menschen unterschiedlich interpretiert. Die Quantifizierung von Unsicherheit, etwa mittels einer Prozentskala, ist effektiver, weil sie weniger Raum für Mehrdeutigkeit lässt. Darüber hinaus sind quantitative Methoden in der Regel fachlich genauer als qualitative Methoden. Die Quantifizierung von Unsicherheit ist daher robuster und bietet Entscheidungsträgern ein klareres Bild.
Wahrscheinlichkeit ist das natürliche Maß, um die relative Wahrscheinlichkeit eines Ergebnisses zum Ausdruck zu bringen und verständlich zu machen. Der Wissenschaftliche Ausschuss der EFSA empfiehlt eine (vom Zwischenstaatlichen Gremium für Klimawandel – IPCC – entwickelte) Skala zur Quantifizierung der Wahrscheinlichkeit unsicherer Ergebnisse.
Wahrscheinlichkeitsskala (IPCC, überarbeitet)
| Begriff zum Ausdruck der Wahrscheinlichkeit | Subjektiver Wahrscheinlichkeitsbereich |
|---|---|
| Praktisch sicher | 99-100 % |
| Sehr wahrscheinlich | 90-99 % |
| Wahrscheinlich | 66-90 % |
| Ebenso wahrscheinlich wie nicht | 33-66 % |
| Unwahrscheinlich | 10-33 % |
| Sehr unwahrscheinlich | 1-10 % |
| Besonders unwahrscheinlich | 0-1 % |
Zur Vermittlung dieser Wahrscheinlichkeiten an technisch weniger versierte Zielgruppen beziehen wir uns auf die Sicherheit (d.h. das „Vertrauen“) unserer Sachverständigen bezüglich ihrer Schlussfolgerung. Beispielsweise können die wissenschaftlichen Bewerter ihre Schlussfolgerung als zu 90-99% sicher (sehr wahrscheinlich) bezeichnen; in diesem Fall kann man davon ausgehen, dass Entscheidungsträger und Öffentlichkeit ein hohes Maß an Vertrauen in Maßnahmen haben werden, die mit dieser Schlussfolgerung im Einklang stehen. Ist ein Ergebnis zu 33-66% sicher (ebenso wahrscheinlich wie nicht), könnten Entscheidungsträger – abhängig vom Gewicht anderer, nicht-wissenschaftlicher Faktoren (z.B. sozialer oder wirtschaftlicher) – weniger überzeugt sein und eher dazu neigen, Vorsichtsmaßnahmen zu ergreifen, sofern keine Spielraum besteht, um die wissenschaftliche Unsicherheit zu verringern (z.B. mittels neuer Forschung). Wenn Bewerter eine Schlussfolgerung als zu 1-10% sicher (sehr unwahrscheinlich) ansehen, kann es sein, dass Entscheidungsträger der wissenschaftlichen Beratung wenig Gewicht beimessen, wenn sie über das weitere Vorgehen befinden.
Die Quantifizierung von Unsicherheit stellt uns vor einige Herausforderungen, sie ist aber nicht unmöglich. Es gibt verschiedene quantitative Methoden zur Charakterisierung von Unsicherheit. Im überarbeiteten Entwurf der EFSA-Leitlinien zum Umgang mit Unsicherheit werden etwa zehn quantitative Methoden detailliert beschrieben. Die Wahl der Methode kann von verschiedenen Faktoren abhängen, etwa von der Art der ermittelten Unsicherheit oder der Zeit und Expertise, die für die Bewertung zur Verfügung stehen. Viele datenbedingte Unsicherheiten, wie begrenzte Stichprobengrößen und Messfehler, lassen sich relativ einfach mit bewährten statistischen Werkzeugen quantifizieren. In anderen Fällen ist ein Expertenurteil erforderlich, das, obwohl subjektiv, eine gute Basis für wissenschaftliche Bewertungen darstellen kann, wenn es gut begründet ist. Die EFSA hat 2014 gesonderte Leitlinien zu formalen Ansätzen für die Einholung von Expertenurteilen veröffentlicht und entwickelt derzeit Schulungen zur Wahrscheinlichkeitsbewertung für Experten. Unabhängig von der Methode ist es wichtig, klar zu beschreiben, warum und wie die jeweilige Methode angewendet wurde.
Nein, es ist nie möglich, „unbekannte Unbekannte“ zu quantifizieren – Unsicherheiten also, derer wir uns noch gar nicht bewusst sind. Und selbst einige der bekannten Unbekannten können für Experten zu komplex oder schwierig zu quantifizieren sein. Die Wissenschaftlichen Gremien der EFSA sind gehalten, möglichst viele der Unsicherheiten, die sich auf ihre Bewertungen auswirken, zu quantifizieren und diejenigen, die sie identifizieren, aber nicht quantifizieren können, qualitativ zu beschreiben.
Nein, der von der EFSA vorgeschlagene Ansatz ist flexibel und bietet eine Auswahl an Werkzeugen, die sich an die jeweiligen Umstände der Bewertung anpassen lassen. Die Zeit, die der Unsicherheitsanalyse gewidmet werden kann, ist verständlicherweise in dringenden Situationen geringer, wenn Beratung mitunter innerhalb von Stunden zu leisten ist (dennoch ist sie wichtig, da Unsicherheiten in solchen Situationen meist am größten sind). Mehr Aufwand kann betrieben werden, um Unsicherheiten im Rahmen einer länger andauernden umfassenden Überprüfung aller verfügbaren wissenschaftlichen Erkenntnisse zu bewerten. Entsprechend würden für gut erforschte Themen, bei denen weniger Unsicherheiten bestehen, andere Ansätze Anwendung finden als für Themen an vorderster Front der Wissenschaft, wo die Evidenz mitunter dürftig ist.
Die Leitlinien richten sich in erster Linie an die Sachverständigen der Wissenschaftlichen Gremien der EFSA und ihrer Arbeitsgruppen, die wissenschaftlichen Mitarbeiter der EFSA sowie wissenschaftliche Einrichtungen, die wissenschaftliche Arbeiten im Auftrag der EFSA durchführen. Sie haben ferner Relevanz für Risikomanager bei der Europäischen Kommission und in den EU-Mitgliedstaaten, die ausgehend von der wissenschaftlichen Beratung der EFSA Entscheidungen treffen. Nach ihrer Fertigstellung sollen die Leitlinien für alle Arbeitsbereiche der EFSA und alle Arten der wissenschaftlichen Bewertung gelten, einschließlich der Risikobewertung und aller ihrer Bestandteile (Gefahrenidentifizierung und -beschreibung, Expositionsabschätzung und Risikocharakterisierung Letzte Phase der Risikobewertung, bei der die Wahrscheinlichkeit, dass ein bestimmter Stoff eine schädliche Wirkung hat, unter Berücksichtigung der Art der Gefahr und des Ausmaßes der Exposition von Menschen, Tieren, Pflanzen und/oder der Umwelt gegenüber diesem Stoff berechnet wird.).
Die Unsicherheitsbewertung erfordert die fachliche Schulung sowohl der Bewerter als auch der Entscheidungsträger, die auf die Bewertungen zurückgreifen. Die EFSA schult ihre Wissenschaftler und arbeitet mit EU-Risikomanagern sowie anderen europäischen und internationalen Risikobewertern zusammen, um zu einem gemeinsamen Verständnis der Unsicherheitsbewertung zu gelangen.
Im Juni 2015 rief die EFSA die internationale wissenschaftliche Gemeinschaft, europäische und nationale Risikobewerter, Risikokommunikatoren und Risikomanager sowie die Interessengruppen der EFSA auf, Feedback zu dem von ihr vorgeschlagenen systematischen Ansatz für die Bewertung von Unsicherheiten zu geben. Beiträge anderer wissenschaftlicher Beratungsgremien sowie von Experten im Bereich der Unsicherheitsanalyse aus Wissenschaft und Praxis wurden insbesondere zu den in der „Toolbox“ vorgeschlagenen Methoden benötigt, um den Entwurf zu optimieren, bevor die EFSA damit begann, den Ansatz für alle Bereiche der Lebensmittelsicherheit zu erproben.
Tutorials
Die EFSA fördert das Verständnis und die praktische Umsetzung ihrer Leitliniendokumente zur Unsicherheitsanalyse und -kommunikation bei wissenschaftlichen Bewertungen. Neben regelmäßigen Schulungsveranstaltungen für wissenschaftliche Sachverständige der EFSA, Mitglieder von EFSA-Netzwerken, EFSA-Mitarbeiter und Risikomanager bei den EU-Institutionen und in den Mitgliedstaaten haben wir eine Reihe von Tutorials entwickelt, die von jedem genutzt werden können, der Interesse daran hat oder lernen muss, wie man diese Ansätze verfolgt.
- Multimedia-Tutorial: Dieses Dashboard bietet eine praktische Einführung in die Verwendung der EFSA-Leitliniendokumente zur Unsicherheitsanalyse und -kommunikation bei wissenschaftlichen Bewertungen. Neben einem Leitfaden zu den wichtigsten Abschnitten der beiden Leitliniendokumente können Sie auch auf EFSA-Gutachten zugreifen, für die die Leitlinien umgesetzt wurden.
Eine Reihe von Video-Tutorials, die auf die chemische Risikobewertung, z. B. Pestizide, Lebensmittelzusatzstoffe, Kontaminanten Alle in Lebensmitteln zu findenden Stoffe, die nicht absichtlich zugesetzt wurden. Kontaminanten können auf Verpackung, Lebensmittelverarbeitung und -transport, landwirtschaftliche Praktiken oder den Einsatz von Tierarzneimitteln zurückzuführen sein. Der Begriff deckt nicht die Kontamination durch Insekten oder Nagetiere ab., und die nicht-chemische Risikobewertung, z. B. biologische Gefahren, Tiergesundheit, Pflanzengesundheit, zugeschnitten sind, sind auch in früheren E-Learning-Kursen zur Durchführung von Unsicherheitsbewertungen verfügbar.
- Tutorial 1: Schlüsselkonzepte und Beispiele Nicht-chemisch Einführung Chemisch
- Tutorial 2: Methoden und Optionen für die grundlegende Bewertung der Unsicherheit: Nicht-chemisch 2 Chemisch 2
- Tutorial 3: Methoden und Optionen für eine verfeinerte Bewertung der Unsicherheit: Nicht-chemisch 3 Chemisch 3