Decline Effect

Aus FreeWiki
Wechseln zu: Navigation, Suche

Unterstützen Sie FreeWiki

Der folgende Textabschnitt basiert auf dem Artikel „Decline Effect “ aus Wikipedia, gelesen am 31.8.2019, und steht unter der Lizenz Creative Commons CC-BY-SA 3.0 Unported (Kurzfassung). In der Wikipedia ist auf der genannten Seite eine Liste der Autoren verfügbar. Änderungen möglich.

Dieser Artikel ist eng mit dem Artikel über die Replikationskrise verbunden, zu dem auch das Phänomen des Decline Effectes gehört. Für weitere Erklärungen und Material siehe dort.

Der Begriff "Decline Effect" (deutsch etwa Abnahme-Effekt) bezeichnet einen Effekt, bei dem die Ergebnisse wissenschaftlicher Studien im Laufe der Zeit experimentell immer weniger zu belegen sind, was bedeutet, dass signifikante Ergebnisse der ersten Experimente mit weiterer Wiederholung derselben Experimente auf den Mittelwert sinken, so dass die ursprüngliche wissenschaftliche Hypothese nicht mehr als gültig anzusehen ist. Dieser Effekt zeigte sich zunächst in der pharmakologischen Forschung sowie in der Psychologie und in den Sozialwissenschaften auffallend häufig. Innerhalb der "exakten Wissenschaften" wie Physik und Chemie ist sie noch nicht ausreichend erforscht.
Der "Decline Effect" ist Teil der Replikationskrise, die die Wissenschaften seit zehn Jahren beunruhigt.
Der Begriff wurde erstmals in den 1930er Jahren vom Psychologen Joseph Banks Rhine beschrieben, um das Verschwinden von außersinnlichen Wahrnehmungseffekten (ESP) in para-psychologischen Experimenten im Verlaufe seiner Studien oder während längerer Zeit zu beschreiben.
Allgemeiner bezeichnete Cronbach in seinem Übersichtsartikel das Phänomen "Beyond the two disciplines of scientific psychology" ("Jenseits der beiden Disziplinen der wissenschaftlichen Psychologie") als "generalizations decay."[1]
Der Begriff wurde 2010 in einem Artikel von Jonah Lehrer published in The New Yorker.[2] veröffentlicht und dadurch erst richtig bekannt.

Beispiele

In seinem Artikel gibt Lehrer mehrere Beispiele, an denen die Abnahme von Effekten zu erkennen ist. Im ersten Beispiel zeigt die Entwicklung von Antipsychotika der zweiten Generation, dass die ersten Tests einen dramatischen Rückgang der psychiatrischen Symptome der Probanden gezeigt hatten.[2] Nach wiederholten Tests ging dieser Effekt jedoch zurück, und am Ende konnte nicht mehr gezeigt werden, dass diese Medikamente überhaupt eine bessere Wirkung hatten als die Antipsychotika der ersten Generation.

Ein bekanntes Beispiel für den "Decline Effect" ist in frühen Experimenten von Professor Jonathan Schooler zu sehen, die die Auswirkungen der Verbalisierung auf die nonverbale Kognition untersuchen. In einer ersten Studienreihe fand Schooler Beweise dafür, dass die verbale Beschreibung von zuvor gesehenen Gesichtern oder Farben die spätere Erkennung deutlich beeinträchtigte.[3] Dieses Phänomen wird als verbal overshadowing verbale Überschattung bezeichnet. Obwohl verbale Überschattungseffekte sowohl von Schooler als auch von anderen Forschern immer wieder beobachtet wurden, hat sich ihre Replikation als ziemlich schwierig erwiesen.[2][4][5] Verbale Überschattungseffekte waren zunächst in einer Vielzahl von Bereichen leicht zu finden, wurden dann aber immer schwieriger zu replizieren und deuteten auf einen Rückgang des Phänomens hin. Schooler ist inzwischen einer der prominentesten Forscher, der den "Decline Effect" untersucht. Er stellt fest, dass der Umgang mit dem "Decline Effect" eine umfassende Überarbeitung wissenschaftlicher Forschungsprozesse erfordern könnte, bei dem Wissenschaftler ihre Protokolle protokollieren, bevor sie ihre Forschung durchführen, und dann, unabhängig vom Ergebnis, ihre Ergebnisse in einem Open-Access-Repository (wie Brian Noseks "Project Implicit") melden.[6] Schooler arbeitet derzeit mit der Fetzer Foundation zusammen, um ein großes Treffen von WissenschaftlerInnen aus verschiedenen Disziplinen zu organisieren, um alternative Berichte über die Auswirkungen des Decline Effectes und Ansätze für einen strikteren Umgang damit zu erörtern.[7]

1991 entdeckte der dänische Zoologe Anders Møller einen Zusammenhang zwischen Symmetrie und sexueller Präferenz von weiblichen Vögeln in der Natur. Dies löste ein großes Interesse an dem Thema aus und es wurden viele Nachforschungen veröffentlicht. In den drei Jahren nach der ursprünglichen Entdeckung bestätigten 90% der Studien Møllers Hypothese. Das gleiche Ergebnis wurde jedoch 1995 in nur noch vier von acht Forschungsarbeiten veröffentlicht, und nur ein Drittel in den nächsten drei Jahren.[8]

Erklärungen==

Eine der Erklärungen für den Effekt ist Regression zur Mitte (dies ist ein statistisches Phänomen, das auftritt, wenn eine Variable bei den ersten Experimenten extrem ist und bei späteren Experimenten zum Rückfall in Richtung Durchschnitt neigt), obwohl dies nicht erklärt, warum sequentielle Ergebnisse linear abnehmen, anstatt wie erwartet um den wahren Mittelwert zu schwanken.[5]

Ein weiterer Grund kann der „Publication bias“ sein: Wissenschaftler und wissenschaftliche Zeitschriften ziehen es vor, positive Ergebnisse von Experimenten und Tests über Null-Ergebnisse zu veröffentlichen, insbesondere bei neuen Ideen.[2] Infolgedessen werden die Zeitschriften häufig die Veröffentlichung von Arbeiten ablehnen, die nicht belegen, dass die Idee funktioniert. Später, wenn eine Idee angenommen wird, werden Zeitschriften eher die Veröffentlichung von Papieren, die sie unterstützen, ablehnen.

In der Debatte nach dem Originalartikel beantwortete Lehrer einige der Fragen mit der Behauptung, dass wissenschaftliche Beobachtungen von den eigenen Erwartungen und Wünschen geprägt sein könnten, manchmal sogar unbewusst, was zu einer Verzerrung des gewünschten Ergebnisses führte.[8]

Ein wesentlicher Faktor, der zum Decline Effect beiträgt, kann auch der Stichprobenumfang der wissenschaftlichen Forschung sein, da ein kleinerer Stichprobenumfang sehr wahrscheinlich zu extremeren Ergebnissen führt, was auf einen signifikanten Durchbruch, aber auch auf eine höhere Fehlerwahrscheinlichkeit hindeutet. Typische Beispiele für diesen Effekt sind die Meinungsumfragen, bei denen diejenigen, die eine größere Anzahl von Menschen einschließen, der Realität näher sind als diejenigen mit einem kleinen Pool von Befragten.[9] Dieser Vorschlag scheint die beobachtete Abnahme von Messwerten im Laufe der Zeit unabhängig vom Stichprobenumfang nicht zu berücksichtigen. Der Forscher John Ioannidis gibt eine Erklärung ab. Er erklärt, dass die frühe Forschung in der Regel klein ist und anfälliger für sehr positive Ergebnisse ist, die die ursprüngliche Idee unterstützen, einschließlich früher bestätigender Studien. Später, wenn größere Studien durchgeführt werden, zeigen diese oft eine Regression auf den Mittelwert und weisen auf das Versäumnis hin, die frühen übertriebenen Ergebnisse wiederholt zu haben.[10][11][12]

Ein Bericht aus dem Jahr 2012 der Sendung "On The Media"[13] handelte von WissenschaftlerInnen, die eine andere Möglichkeit untersuchen: dass der Akt der Beobachtung des Universums das Universum verändert und dass wiederholte Messungen frühere Ergebnisse tatsächlich ungültig machen könnten. Mit anderen Worten, antipsychotische Medikamente haben ursprünglich funktioniert, aber je mehr wir ihre Wirksamkeit gemessen haben, desto mehr haben sich die Gesetze für diese Medikamente geändert, so dass sie ihre Wirksamkeit verloren haben. Der Science-Fiction-Autor Geoff Ryman erforscht diese Idee und ihre möglichen Auswirkungen in seiner 2012 erschienenen Kurzgeschichte What We Found,[14] which won the Nebula Award for Best Novelette in 2012.[15]

Diskussion==

Mehrere Kommentatoren haben Jonah Lehrers Ansicht angefochten, dass der Rückgang eine problematische Seite des Phänomens sei, wie er es in seinem Artikel im New Yorker dargestellt hat. "Der Decline Effect ist beunruhigend, weil er uns daran erinnert, wie schwierig es ist, etwas zu beweisen. Wir geben gerne vor, dass unsere Experimente die Wahrheit für uns erweisen. Aber das ist oft nicht der Fall. Nur weil eine Idee wahr ist, bedeutet das nicht, dass sie bewiesen werden kann. Und nur weil eine Idee bewiesen werden kann, bedeutet das nicht, dass sie wahr ist. Wenn die Experimente abgeschlossen sind, müssen wir uns noch entscheiden, was wir glauben wollen." [2]

Lehrers Aussagen über die Schwierigkeit, etwas zu beweisen und einen Publication bias zu erkennen, finden Unterstützung von Jerry A. Coyne. Coyne ist der Ansicht, dass in den Bereichen Genetik und Evolutionsbiologie fast keine Forschung repliziert wird und eine Hauptmotivation zur Veröffentlichung positiver Ergebnisse von Forschungsstudien angeboten wird. Er bestreitet aber auch den Ansatz von Lehrer, Schlussfolgerungen auf alle Wissenschaftsbereiche anzuwenden, indem er feststellt, dass in der Physik, Chemie oder Molekularbiologie frühere Ergebnisse von anderen ständig wiederholt werden, um in ihrer eigenen Forschung voranzukommen.[16]

Manche[17] haben die Sorge zum Ausdruck gebracht, dass Lehrers Artikel die Skepsis der Menschen gegenüber der akademischen Wissenschaft weiter schüren könnte. Es wurde lange Zeit geglaubt, dass Lehrers Artikel ursprünglich andeutete, dass die akademische Wissenschaft nicht so streng ist, wie man es gerne glauben würde. Gerade das Ende des Artikels hat viele Wissenschaftler verärgert und zu einer breiten Kritik am Artikel geführt. Lehrer beendet den Artikel mit den Worten: "Nur weil eine Idee wahr ist, bedeutet das nicht, dass sie bewiesen werden kann. Und nur weil eine Idee bewiesen werden kann, bedeutet das nicht, dass sie wahr ist. Wenn die Experimente abgeschlossen sind, müssen wir uns noch entscheiden, was wir glauben wollen." Das hat viele verärgert und er hat sich einigen Widerspruch zu seinen Folgerungen anhören müssen.

Als Antwort auf die vielen Kommentare, die Lehrer bei der Veröffentlichung des Artikels erhielt, veröffentlichte er einen Kommentar in seinem Blog The Frontal Cortex,[8], in dem er bestreitet, dass er implizit Wissenschaft und wissenschaftliche Methoden in irgendeiner Weise in Frage stellt. Im gleichen Blog-Kommentar erklärte er auch, dass er grundlegende wissenschaftliche Theorien wie die Evolutionstheorie durch natürliche Selektion und globale Erwärmung nicht in Frage stellt, indem er sie als "zwei der robustesten und am weitesten verbreiteten Theorien der modernen Wissenschaft" bezeichnet.

Eine weitere Klarstellung wurde als Folgenotiz in The New Yorker' veröffentlicht. [8] In dieser Notiz mit dem Titel "More Thoughts on the Decline Effect" versucht Lehrer vor allem, den Kritikern mit Beispielen zu antworten, in denen wissenschaftliche Forschung sowohl gescheitert als auch erfolgreich war. Als Beispiel verwendet Lehrer die Richard Feynman Einführungsrede von Caltech 1974 als Ausgangspunkt. In seiner Eröffnungsrede nutzte Feynman das Öltropfen-Experiment von Robert Millikan und Harvey Fletcher, um die Ladung eines Elektrons zu messen und zu veranschaulichen, wie selektive Berichterstattung wissenschaftliche Ergebnisse beeinflussen kann. Andererseits findet Feynman Trost darin, dass Wissenschaftler auch die Experimente anderer Wissenschaftler wiederholen und damit die Wahrheit am Ende siegen wird.

Fußnoten

  1. Cronbach, L. J. (1975). "Beyond the two disciplines of scientific psychology". American Psychologist. 30 (2): 116–127. doi:10.1037/h0076829.
  2. 2,0 2,1 2,2 2,3 2,4 Jonah_Lehrer (2010). "The Truth Wears Off". The New Yorker.
  3. J. W.Schooler: Verbal overshadowing of visual memories: Some things are better left unsaid; In: Cognitive Psychology, Vol. 22, 1990, issue 1, pp.36–71
  4. Chin, J. M.; Schooler, J. W. (2009). "Why do words hurt? content, process, and criterion shift accounts of verbal overshadowing". European Journal of Cognitive Psychology. 20 (3): 396–413. doi:10.1080/09541440701728623.
  5. 5,0 5,1 Schooler, J (2011). "Unpublished results hide the decline effect". Nature. 470 (7335): 437. doi:10.1038/470437a. PMID 21350443.
  6. http://projectimplicit.net/nosek/
  7. Mooneyham, B. W.; Franklin, M. S.; Mrazek, M. D.; Schooler, J. W. (2012). "Modernizing Science: Comments on Nosek and Bar-Anan (2012)". Psychological Inquiry. 23 (3): 281–284. doi:10.1080/1047840X.2012.705246.
  8. 8,0 8,1 8,2 8,3 Jonah Lehrer (2010-12-09). "The Mysterious Decline Effect". Wired.
  9. John Allen Paulos (2010). "The decline effect and why scientific 'Truth' so often turns out wrong". ABC News.
  10. Ioannidis, J. P. A. (2005). "Why Most Published Research Findings Are False". PLoS Medicine. 2 (8): e124. doi:10.1371/journal.pmed.0020124. PMC 1182327. PMID 16060722.
  11. Ioannidis, J. P. A. (2005). "Contradicted and Initially Stronger Effects in Highly Cited Clinical Research". JAMA: the Journal of the American Medical Association. 294 (2): 218–228. doi:10.1001/jama.294.2.218. PMID 16014596.
  12. David Gorski (2010). "The "decline effect": Is it a real decline or just science correcting itself?". Science-based Medicine.
  13. Brooke Gladstone (2012). "The 'Decline Effect' and Scientific Truth". NPR On The Media. Archived from the original on 2012-07-04.
  14. Geoff Ryman (2012). "The Year's Best Science Fiction". St. Martin's Griffin.
  15. Mike Addelman (2012). "Ryman wins one of world's top science fiction prizes". University of Manchester.
  16. Jerry Allen Coyne (2010). "Why Evolution is True". Wordpress.
  17. John Horgan (2010). "The truth we'll doubt: Does the decline effect mean that all science is "truthy"?". Scientific America.