Replikationskrise: Unterschied zwischen den Versionen

Aus FreeWiki
Wechseln zu: Navigation, Suche
Zeile 13: Zeile 13:
 
=== Insgesamt ===
 
=== Insgesamt ===
  
−
==References:==
+
Laut einer Umfrage von 1.500 Wissenschaftlern im Jahr 2016 berichteten 70% von ihnen, dass sie es versäumt hatten, mindestens ein anderes Experiment eines Wissenschaftlers zu reproduzieren (50% hatten es versäumt, eines ihrer eigenen Experimente zu reproduzieren).<ref>{{cite web|title=Is There a Reproducibility Crisis in Science?|url=https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/|publisher=Nature Video, Scientific American|date=28 May 2016|accessdate=15 August 2019}}</ref> Im Jahr 2009 haben 2% der Wissenschaftler, die zur Fälschung von Studien zugelassen wurden, mindestens einmal und 14%, die zur persönlichen Kenntnisnahme von jemandem, der dies tat, zugelassen wurden. Fehlleitungen wurden von medizinischen Forschern häufiger gemeldet als andere.<ref>{{cite journal|title=How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data|first=Daniele|last=Fanelli|date=29 May 2009|journal=PLOS ONE|volume=4|issue=5|pages=e5738|doi=10.1371/journal.pone.0005738|pmid=19478950|pmc=2685008|bibcode=2009PLoSO...4.5738F}}</ref>
 +
 
 +
=== Psychologie ====
 +
 
 +
Mehrere Faktoren sind zusammengekommen und haben die Psychologie in den Mittelpunkt der Kontroverse gebracht.<ref>{{cite web|last1=Achenbach|first1=Joel|title=No, science's reproducibility problem is not limited to psychology|url=https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/|website=The Washington Post|accessdate=10 September 2015}}</ref> Ein Großteil des Fokus lag dabei auf dem Bereich der Sozialpsychologie,<ref>{{Cite news|url=https://www.nytimes.com/2017/10/18/magazine/when-the-revolution-came-for-amy-cuddy.html|title=When the Revolution Came for Amy Cuddy|last=Dominus|first=Susan|date=2017-10-18|work=The New York Times|access-date=2017-10-19|language=en-US|issn=0362-4331}}</ref> obwohl andere Bereiche der Psychologie wie die klinische Psychologie,<ref>{{cite journal|last1=Leichsenring|first1=Falk|last2=Abbass|first2=Allan|author-link2=Allan Abbass|last3=Hilsenroth|first3=Mark J.|last4=Leweke|first4=Frank|last5=Luyten|first5=Patrick|last6=Keefe|first6=Jack R.|last7=Midgley|first7=Nick|last8=Rabung|first8=Sven|last9=Salzer|first9=Simone|last10=Steiner|first10=Christiane|title=Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research|journal=[[Psychological Medicine]]|year=April 2017|volume=47|issue=6|pages=1000–1011|doi=10.1017/S003329171600324X|pmid=27955715|url=http://discovery.ucl.ac.uk/1532689/}}</ref><ref>{{cite journal|last=Hengartner|first=Michael P.|title=Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?|journal=[[Frontiers in Psychology]]|volume=9|pages=256|publisher=[[Frontiers Media]]|doi=10.3389/fpsyg.2018.00256|pmid=29541051|pmc=5835722|date=February 28, 2018}}</ref>  Entwicklungspsychologie,<ref>{{cite journal|last1=Frank|first1=Michael C.|author-link1=Michael C. Frank|last2=Bergelson|first2=Elika|last3=Bergmann|first3=Christina|last4=Cristia|first4=Alejandrina|last5=Floccia|first5=Caroline|last6=Gervain|first6=Judit|last7=Hamlin|first7=J. Kiley|last8=Hannon|first8=Erin E.|last9=Kline|first9=Melissa|last10=Levelt|first10=Claartje|last11=Lew-Williams|first11=Casey|last12=Nazzi|first12=Thierry|last13=Panneton|first13=Robin|last14=Rabagliati|first14=Hugh|last15=Soderstrom|first15=Melanie|last16=Sullivan|first16=Jessica|last17=Waxman|first17=Sandra|author-link17=Sandra Waxman|last18=Yurovsky|first18=Daniel|title=A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building|journal=[[Infancy (journal)|Infancy]]|volume=22|issue=4|pages=421–435|date=9 March 2017|url=http://callab.uchicago.edu/papers/fetal-infancy-inpress.pdf|doi=10.1111/infa.12182|access-date=19 December 2018|hdl=10026.1/9942}}</ref> und Bildungsforschung ebenfalls einbezogen wurden.<ref>{{cite journal|last=Tyson|first=Charlie|title=Failure to Replicate|journal=[[Inside Higher Ed]]|date=14 August 2014|url=https://www.insidehighered.com/news/2014/08/14/almost-no-education-research-replicated-new-article-shows|access-date=19 December 2018}}</ref><ref>{{cite journal|last1=Makel|first1=Matthew C.|last2=Plucker|first2=Jonathan A.|author-link2=Jonathan A. Plucker|title=Facts Are More Important Than Novelty: Replication in the Education Sciences|journal=[[Educational Researcher]]|date=1 August 2014|volume=43|issue=6|pages=304–316|doi=10.3102/0013189X14545513|access-date=19 December 2018|url=https://journals.sagepub.com/stoken/rbtfl/w5mrNxPVD8zSg/full}}</ref> According to a 2018 survey of 200 meta-analyses, "psychological research is, on average, afflicted with low statistical power".<ref>{{Cite journal|last=Stanley|first=T. D.|last2=Carter|first2=Evan C.|last3=Doucouliagos|first3=Hristos|date=2018|title=What meta-analyses reveal about the replicability of psychological research.|journal=Psychological Bulletin|language=en|volume=144|issue=12|pages=1325–1346|doi=10.1037/bul0000169|pmid=30321017|issn=1939-1455}}</ref>
 +
 
 +
Erstens wurden fragwürdige Forschungspraktiken („questionable research practices“ = QRPs) als üblich im Bereich.<ref name=":0" /> Solche Praktiken, obwohl sie nicht absichtlich betrügerisch sind, beinhalten die Nutzung der Grauzone akzeptabler wissenschaftlicher Praktiken oder die Nutzung der Flexibilität bei der Datenerfassung, -analyse und -berichterstattung, oft in dem Bestreben, ein gewünschtes Ergebnis zu erzielen. Beispiele für QRPs sind selektive Berichterstattung oder teilweise Veröffentlichung von Daten (nur einige der Studienbedingungen oder gesammelte abhängige Messungen in einer Publikation), optionales Stoppen (Wahl, wann die Datenerhebung gestoppt werden soll, oft basierend auf der statistischen Signifikanz von Tests), ''p''-Wertrundung (Aufrunden der ''p''-Werte auf 0.05, um statistische Signifikanz nahezulegen), den Schubladeneffekt (Nichtveröffentlichung von Daten), das Post-Hoc-Storytelling (Framing explorativer Analysen als Bestätigungsanalysen) und die Manipulation von Ausreißern (entweder das Entfernen von Ausreißern oder das Belassen von Ausreißern in einem Datensatz, um einen statistischen Test signifikant wirken zu lassen).<ref name=":0">{{Cite journal|title = Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling|url = https://www.hbs.edu/faculty/Publication%20Files/QRP12_a137cc09-45bc-4eae-9ee9-c0cb47f14add.pdf|journal = Psychological Science|date = 2012-05-01|issn = 0956-7976|pmid = 22508865|pages = 524–532|volume = 23|issue = 5|doi = 10.1177/0956797611430953|first = Leslie K.|last = John|first2 = George|last2 = Loewenstein|first3 = Drazen|last3 = Prelec}}</ref><ref>{{Cite journal|title = The Nine Circles of Scientific Hell|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168124|pages = 643–644|volume = 7|issue = 6|doi = 10.1177/1745691612459519}}</ref><ref>{{Cite web|title = Research misconduct - The grey area of Questionable Research Practices|url = http://www.vib.be/en/news/Pages/Research-misconduct---The-grey-area-of-Questionable-Research-Practices.aspx|website = www.vib.be|accessdate = 2015-11-13}}</ref><ref>{{Cite journal|title = Questionable Research Practices Revisited|journal = Social Psychological and Personality Science|date = 2015-10-19|issn = 1948-5506|pages = 45–52|doi = 10.1177/1948550615612150|first = Klaus|last = Fiedler|first2 = Norbert|last2 = Schwarz|volume=7}}</ref> Eine Umfrage unter über 2.000 Psychologen ergab, dass eine Mehrheit der Befragten die Verwendung mindestens eines QRP zugelassen hat.<ref name=":0" /> Falsch positive Schlussfolgerungen, die sich oft aus dem Druck zur Veröffentlichung oder des eigenen ''„confirmation bias“'' des Autors ergeben, sind eine inhärente Gefahr für das Feld und erfordern ein gewisses Maß an Skepsis seitens der Leser.<ref name="Simmons et al. (2011)">{{cite journal|last1 = Simmons|first1 = Joseph|first2 = Leif|last2 = Nelson|first3 = Uri|last3 = Simonsohn|title = False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant|journal = [[Psychological Science]]|volume = 22|issue = 11|pages = 1359–1366|date = November 2011|issn = 0956-7976|doi = 10.1177/0956797611417632|pmid = 22006061}}</ref>
 +
 
 +
Zweitens haben sich insbesondere die Psychologie und die Sozialpsychologie im Mittelpunkt mehrerer Skandale wiedergefunden. bei denen es um echten Forschungsbetrug ging, vor allem die eingestandene Erfindung von Daten durch Diederik Stapel<ref>{{cite journal|url=http://chronicle.com/article/As-Dutch-Research-Scandal/129746/|title=Fraud Scandal Fuels Debate Over Practices of Social Psychology|journal=The Chronicle of Higher Education|first=Christopher|last=Shea|date=13 November 2011}}</ref> sowie Vorwürfe gegen andere. Die meisten Wissenschaftler erkennen jedoch an, dass Betrug vielleicht der geringere Beitrag zu Replikationskrisen ist.
 +
 
 +
Drittens haben sich mehrere Effekte in der Psychologie bereits vor der aktuellen Replikationskrise als schwer reproduzierbar erwiesen. So hat beispielsweise die Fachzeitschrift "''Judgment and Decision Making''" im Laufe der Jahre mehrere Studien veröffentlicht, die die Theorie des unbewussten Denkens nicht unterstützen konnten. Replikationen erscheinen besonders schwierig, wenn Forschungsstudien vorregistriert und von Forschergruppen durchgeführt werden, die für die fragliche Theorie nicht sehr stark engagiert sind.
 +
 
 +
Diese drei Elemente zusammen haben zu einer erneuten Aufmerksamkeit für die Replikation geführt, die vom Psychologen Daniel Kahneman unterstützt wird.<ref>{{cite web|title=A New Etiquette for Replication|url=https://www.scribd.com/doc/225285909/Kahneman-Commentary|first=Daniel|last=Kahneman|via=Scribd}}</ref> Die Untersuchung vieler Effekte hat gezeigt, dass einige Kernüberzeugungen schwer zu replizieren sind. Eine aktuelle Sonderausgabe der Zeitschrift ''Sozialpsychologie'', die sich auf Replikationsstudien konzentrierte, und eine Reihe von bisher vertretenen Überzeugungen erwiesen sich als schwer zu replizieren.<ref>{{cite journal|year=2014 |title= Link to issue<!-- NONE - reference to entire issue -->|url=http://www.psycontent.com/content/l67413865317/?p=3f8268e0307f4036906c158b1667c57a&pi=0 |journal=Social Psychology |publisher=Hogrefe Publishing |volume=45 |issue=3 |archive-url=https://archive.is/20140530230728/http://www.psycontent.com/content/l67413865317/?p=3f8268e0307f4036906c158b1667c57a&pi=0 |archive-date=30 May 2014}}</ref> Eine Sonderausgabe der Zeitschrift ''''Perspectives on Psychological Science'''' aus dem Jahr 2012 konzentrierte sich auch auf Themen, die vom ''publication bias'' bis zur Null-Aversion reichen und zu den Replikationskrisen in der Psychologie beitragen.<ref>[http://pps.sagepub.com/content/7/6.toc Inhaltsverzeichnis]</ref> Im Jahr 2015 wurde die erste offene empirische Studie zur Reproduzierbarkeit in der Psychologie veröffentlicht, das so genannte Reproduzierbarkeitsprojekt. Forscher aus der ganzen Welt arbeiteten zusammen, um 100 empirische Studien aus drei führenden psychologischen Zeitschriften zu replizieren. Bei weniger als der Hälfte der versuchten Replikationen war es gelungen, statistisch signifikante Ergebnisse in den erwarteten Richtungen zu erzielen, obwohl die meisten der versuchten Replikationen Trends in die erwarteten Richtungen hervorriefen.<ref>{{Cite journal | last1 = Open Science Collaboration | title = Estimating the reproducibility of Psychological Science | doi = 10.1126/science.aac4716 | journal = Science | volume = 349 | issue = 6251 | pages = aac4716 | year = 2015 | pmid=26315443| url = http://eprints.keele.ac.uk/877/1/Open%20Science%20%28Science%20Pre-Print%29.pdf | hdl = 10722/230596 }}</ref>
 +
 
 +
Viele Forschungsstudien und Metaanalysen werden durch schlechte Qualität und Interessenkonflikte beeinträchtigt, an denen sowohl Autoren als auch professionelle Interessenvertretungen beteiligt sind, was zu vielen falsch Positiven in Bezug auf die Wirksamkeit bestimmter Arten von Psychotherapie führt.<ref>{{cite web | url=http://blogs.plos.org/mindthebrain/2014/04/15/meta-analyses-conducted-professional-organizations-trustworthy/ | title=Are meta analyses conducted by professional organizations more trustworthy? | work=Mind the Brain | date=April 15, 2014 | accessdate=September 13, 2016 | first=James | last=Coyne}}</ref>
 +
 
 +
Obwohl die britische Zeitung ''The Independent'' schrieb, dass die Ergebnisse des Reproduzierbarkeitsprojektes zeigen, dass ein Großteil der veröffentlichten Forschung nur "Psycho-Gequatsche" ist,<ref>{{cite news| url=https://www.independent.co.uk/news/science/study-reveals-that-a-lot-of-psychology-research-really-is-just-psychobabble-10474646.html | location=London | work=The Independent | first=Steve | last=Connor | title=Study reveals that a lot of psychology research really is just 'psycho-babble' | date=27 August 2015}}</ref> bedeutet die Replikationskrise nicht unbedingt, dass Psychologie unwissenschaftlich ist.<ref>{{cite web|url=http://www.slate.com/articles/health_and_science/science/2014/07/replication_controversy_in_psychology_bullying_file_drawer_effect_blog_posts.single.html|title=Why Psychologists' Food Fight Matters|first1=Michelle N.|last1=Meyer|first2=Christopher|last2=Chabris|date=31 July 2014|via=Slate}}</ref><ref>{{cite web|url=http://fivethirtyeight.com/datalab/psychology-is-starting-to-deal-with-its-replication-problem/|title=Psychology Is Starting To Deal With Its Replication Problem|date=27 August 2015}}</ref><ref>{{cite web|url=http://fivethirtyeight.com/features/science-isnt-broken/|title=Science Isn't Broken|date=19 August 2015}}</ref> Vielmehr ist dieser Prozess ein gesunder, wenn auch manchmal bitterer Teil des wissenschaftlichen Prozesses, in dem alte Ideen oder solche, die einer sorgfältigen Prüfung nicht standhalten können, beschnitten werden,<ref>{{cite news|url=https://www.theguardian.com/science/head-quarters/2014/may/28/psychology-replication-drive-methods-bullying|title=Psychology's replication drive: it's not about you|first=Pete|last=Etchells|date=28 May 2014|newspaper=The Guardian}}</ref><ref>{{Cite journal|title = An Agenda for Purely Confirmatory Research|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168122|pages = 632–638|volume = 7|issue = 6|doi = 10.1177/1745691612463078|first = Eric-Jan|last = Wagenmakers|first2 = Ruud|last2 = Wetzels|first3 = Denny|last3 = Borsboom|first4 = Han L. J. van der|last4 = Maas|first5 = Rogier A.|last5 = Kievit}}</ref> auch wenn dieser Stutzungsprozess nicht immer effektiv ist.<ref>{{Cite journal|title = Why Science Is Not Necessarily Self-Correcting|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168125|pages = 645–654|volume = 7|issue = 6|doi = 10.1177/1745691612464056|first = John P. A.|last = Ioannidis}}</ref><ref>{{Cite journal|title = Is the Replicability Crisis Overblown? Three Arguments Examined|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168109|pages = 531–536|volume = 7|issue = 6|doi = 10.1177/1745691612463401|first = Harold|last = Pashler|first2 = Christine R.|last2 = Harris}}</ref> Die Konsequenz ist, dass einige Bereiche der Psychologie, die einst als solide angesehen wurden, wie z.B. Social Priming, aufgrund gescheiterter Replikationen zunehmend unter die Lupe genommen werden.<ref>{{cite journal|url=http://chronicle.com/article/Power-of-Suggestion/136907/|title=Power of Suggestion|journal=The Chronicle of Higher Education|first=Tom|last=Bartlett|date=30 January 2013}}</ref>
 +
 
 +
Der Nobelpreisträger und emeritierte Professor für Psychologie Daniel Kahneman argumentierte, dass die Originalautoren an der Replikation beteiligt werden sollten, da die veröffentlichten Methoden oft zu vage sind.<ref name="Chambers">{{cite news|url=https://www.theguardian.com/science/head-quarters/2014/jun/10/physics-envy-do-hard-sciences-hold-the-solution-to-the-replication-crisis-in-psychology|title=Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?|first=Chris|last=Chambers|date=10 June 2014|newspaper=The Guardian}}</ref> Andere wie Dr. Andrew Wilson sind anderer Meinung und argumentieren, dass die Methoden im Detail beschrieben werden sollten.<ref name="Chambers" /> Eine Untersuchung der Replikationsraten in der Psychologie im Jahr 2012 ergab höhere Erfolgsraten in Replikationsstudien, wenn es zu Überschneidungen mit den Originalautoren einer Studie kam<ref name=":1">{{Cite journal|title = Replications in Psychology Research How Often Do They Really Occur?|journal = Perspectives on Psychological Science|date = 2012-11-01|issn = 1745-6916|pmid = 26168110|pages = 537–542|volume = 7|issue = 6|doi = 10.1177/1745691612460688|first = Matthew C.|last = Makel|first2 = Jonathan A.|last2 = Plucker|first3 = Boyd|last3 = Hegarty}}</ref> (91,7% erfolgreiche Replikationsraten in Studien mit Autorenüberschneidungen im Vergleich zu 64,6% erfolgreichen Replikationsraten ohne Autorenüberschneidungen).
 +
 
 +
 
 +
== Fußnoten ==
 +
 
 
<references />
 
<references />

Version vom 6. September 2019, 21:09 Uhr

Unterstützen Sie FreeWiki

Der folgende Textabschnitt basiert auf dem Artikel „Replication Crisis“ aus Wikipedia, gelesen am 31.8.2019, und steht unter der Lizenz Creative Commons CC-BY-SA 3.0 Unported (Kurzfassung). In der Wikipedia ist auf der genannten Seite eine Liste der Autoren verfügbar. Änderungen möglich.

Diese FreeWiki-Seite ist noch als ein Fragment zu betrachten, d. h. es ist keine strukturierte Seite, sondern nur eine Sammlung von Material oder Textvorschlägen.
Der entsprechende Wikipedia-Artikel wird für nicht ausreichend, nicht zuverlässig und / oder manipuliert gehalten. Hier im FreeWiki wird versucht, eine sachlich korrekte Seite zu erstellen.

Dieser Artikel ist eng mit dem Artikel über den Decline Effect verbunden, welcher Teil dieser Krise ist. Für weitere Erklärungen und Material siehe auch dort.

Die Replikationskrise (oder Wiederholbarkeitskrise oder Reproduzierbarkeitskrise) ist eine andauernde (2019) methodische Krise, in der festgestellt wurde, dass viele wissenschaftliche Studien schwer oder unmöglich zu reproduzieren oder zu wiederholen sind. Die Replikationskrise betrifft die Sozial- und Biowissenschaften am stärksten, [1][2], während die exakten Wissenschaften immer noch zögern, sich dem Problem überhaupt zu stellen und in ihrer Forschung meistens nicht einmal Verblindung verwenden.[3] Die Krise hat langjährige Wurzeln. Der Begriff selbst wurde Anfang 2010 geprägt[4] als Teil eines wachsenden Problembewusstseins. Die Replikationskrise bildet in der Wissenschaftstheorie einen wichtigen Forschungsgegenstand. [5]

Da die Reproduzierbarkeit von Experimenten ein wesentlicher Bestandteil der wissenschaftlichen Methode ist,[6] hat die Unmöglichkeit, die Studien anderer zu replizieren, potenziell schwerwiegende Folgen für viele Wissenschaftsbereiche, in denen bedeutende Theorien auf nicht reproduzierbaren experimentellen Arbeiten basieren. Die Replikationskrise wurde insbesondere im Bereich der Psychologie (insbesondere der Sozialpsychologie) und in der Medizin diskutiert, wo eine Reihe von Bemühungen unternommen wurden, klassische Ergebnisse neu zu untersuchen und zu versuchen, sowohl die Zuverlässigkeit der Ergebnisse als auch, wenn sie sich als unzuverlässig erweisen, die Gründe für das Scheitern der Replikation zu bestimmen.[7][8]

Umfang der Krise

Insgesamt

Laut einer Umfrage von 1.500 Wissenschaftlern im Jahr 2016 berichteten 70% von ihnen, dass sie es versäumt hatten, mindestens ein anderes Experiment eines Wissenschaftlers zu reproduzieren (50% hatten es versäumt, eines ihrer eigenen Experimente zu reproduzieren).[9] Im Jahr 2009 haben 2% der Wissenschaftler, die zur Fälschung von Studien zugelassen wurden, mindestens einmal und 14%, die zur persönlichen Kenntnisnahme von jemandem, der dies tat, zugelassen wurden. Fehlleitungen wurden von medizinischen Forschern häufiger gemeldet als andere.[10]

Psychologie =

Mehrere Faktoren sind zusammengekommen und haben die Psychologie in den Mittelpunkt der Kontroverse gebracht.[11] Ein Großteil des Fokus lag dabei auf dem Bereich der Sozialpsychologie,[12] obwohl andere Bereiche der Psychologie wie die klinische Psychologie,[13][14] Entwicklungspsychologie,[15] und Bildungsforschung ebenfalls einbezogen wurden.[16][17] According to a 2018 survey of 200 meta-analyses, "psychological research is, on average, afflicted with low statistical power".[18]

Erstens wurden fragwürdige Forschungspraktiken („questionable research practices“ = QRPs) als üblich im Bereich.[19] Solche Praktiken, obwohl sie nicht absichtlich betrügerisch sind, beinhalten die Nutzung der Grauzone akzeptabler wissenschaftlicher Praktiken oder die Nutzung der Flexibilität bei der Datenerfassung, -analyse und -berichterstattung, oft in dem Bestreben, ein gewünschtes Ergebnis zu erzielen. Beispiele für QRPs sind selektive Berichterstattung oder teilweise Veröffentlichung von Daten (nur einige der Studienbedingungen oder gesammelte abhängige Messungen in einer Publikation), optionales Stoppen (Wahl, wann die Datenerhebung gestoppt werden soll, oft basierend auf der statistischen Signifikanz von Tests), p-Wertrundung (Aufrunden der p-Werte auf 0.05, um statistische Signifikanz nahezulegen), den Schubladeneffekt (Nichtveröffentlichung von Daten), das Post-Hoc-Storytelling (Framing explorativer Analysen als Bestätigungsanalysen) und die Manipulation von Ausreißern (entweder das Entfernen von Ausreißern oder das Belassen von Ausreißern in einem Datensatz, um einen statistischen Test signifikant wirken zu lassen).[19][20][21][22] Eine Umfrage unter über 2.000 Psychologen ergab, dass eine Mehrheit der Befragten die Verwendung mindestens eines QRP zugelassen hat.[19] Falsch positive Schlussfolgerungen, die sich oft aus dem Druck zur Veröffentlichung oder des eigenen „confirmation bias“ des Autors ergeben, sind eine inhärente Gefahr für das Feld und erfordern ein gewisses Maß an Skepsis seitens der Leser.[23]

Zweitens haben sich insbesondere die Psychologie und die Sozialpsychologie im Mittelpunkt mehrerer Skandale wiedergefunden. bei denen es um echten Forschungsbetrug ging, vor allem die eingestandene Erfindung von Daten durch Diederik Stapel[24] sowie Vorwürfe gegen andere. Die meisten Wissenschaftler erkennen jedoch an, dass Betrug vielleicht der geringere Beitrag zu Replikationskrisen ist.

Drittens haben sich mehrere Effekte in der Psychologie bereits vor der aktuellen Replikationskrise als schwer reproduzierbar erwiesen. So hat beispielsweise die Fachzeitschrift "Judgment and Decision Making" im Laufe der Jahre mehrere Studien veröffentlicht, die die Theorie des unbewussten Denkens nicht unterstützen konnten. Replikationen erscheinen besonders schwierig, wenn Forschungsstudien vorregistriert und von Forschergruppen durchgeführt werden, die für die fragliche Theorie nicht sehr stark engagiert sind.

Diese drei Elemente zusammen haben zu einer erneuten Aufmerksamkeit für die Replikation geführt, die vom Psychologen Daniel Kahneman unterstützt wird.[25] Die Untersuchung vieler Effekte hat gezeigt, dass einige Kernüberzeugungen schwer zu replizieren sind. Eine aktuelle Sonderausgabe der Zeitschrift Sozialpsychologie, die sich auf Replikationsstudien konzentrierte, und eine Reihe von bisher vertretenen Überzeugungen erwiesen sich als schwer zu replizieren.[26] Eine Sonderausgabe der Zeitschrift 'Perspectives on Psychological Science' aus dem Jahr 2012 konzentrierte sich auch auf Themen, die vom publication bias bis zur Null-Aversion reichen und zu den Replikationskrisen in der Psychologie beitragen.[27] Im Jahr 2015 wurde die erste offene empirische Studie zur Reproduzierbarkeit in der Psychologie veröffentlicht, das so genannte Reproduzierbarkeitsprojekt. Forscher aus der ganzen Welt arbeiteten zusammen, um 100 empirische Studien aus drei führenden psychologischen Zeitschriften zu replizieren. Bei weniger als der Hälfte der versuchten Replikationen war es gelungen, statistisch signifikante Ergebnisse in den erwarteten Richtungen zu erzielen, obwohl die meisten der versuchten Replikationen Trends in die erwarteten Richtungen hervorriefen.[28]

Viele Forschungsstudien und Metaanalysen werden durch schlechte Qualität und Interessenkonflikte beeinträchtigt, an denen sowohl Autoren als auch professionelle Interessenvertretungen beteiligt sind, was zu vielen falsch Positiven in Bezug auf die Wirksamkeit bestimmter Arten von Psychotherapie führt.[29]

Obwohl die britische Zeitung The Independent schrieb, dass die Ergebnisse des Reproduzierbarkeitsprojektes zeigen, dass ein Großteil der veröffentlichten Forschung nur "Psycho-Gequatsche" ist,[30] bedeutet die Replikationskrise nicht unbedingt, dass Psychologie unwissenschaftlich ist.[31][32][33] Vielmehr ist dieser Prozess ein gesunder, wenn auch manchmal bitterer Teil des wissenschaftlichen Prozesses, in dem alte Ideen oder solche, die einer sorgfältigen Prüfung nicht standhalten können, beschnitten werden,[34][35] auch wenn dieser Stutzungsprozess nicht immer effektiv ist.[36][37] Die Konsequenz ist, dass einige Bereiche der Psychologie, die einst als solide angesehen wurden, wie z.B. Social Priming, aufgrund gescheiterter Replikationen zunehmend unter die Lupe genommen werden.[38]

Der Nobelpreisträger und emeritierte Professor für Psychologie Daniel Kahneman argumentierte, dass die Originalautoren an der Replikation beteiligt werden sollten, da die veröffentlichten Methoden oft zu vage sind.[39] Andere wie Dr. Andrew Wilson sind anderer Meinung und argumentieren, dass die Methoden im Detail beschrieben werden sollten.[39] Eine Untersuchung der Replikationsraten in der Psychologie im Jahr 2012 ergab höhere Erfolgsraten in Replikationsstudien, wenn es zu Überschneidungen mit den Originalautoren einer Studie kam[40] (91,7% erfolgreiche Replikationsraten in Studien mit Autorenüberschneidungen im Vergleich zu 64,6% erfolgreichen Replikationsraten ohne Autorenüberschneidungen).


Fußnoten

  1. ↑ Schooler, J. W. (2014). "Metascience could rescue the 'replication crisis'". Nature. 515 (7525): 9. Bibcode:2014Natur.515....9S. doi:10.1038/515009a. PMID 25373639.
  2. ↑ Smith, Noah. "Why 'Statistical Significance' Is Often Insignificant". Bloomberg. Retrieved 7 November 2017.
  3. ↑ Rupert Sheldrake: The Science Delusion – Freeing the Spirit of Enquiry; London 2012, Hodder& Stoughton, ISBN 978 1 444 72795 1. Chapter 11. Illusions of Objectivity.
  4. ↑ Pashler, Harold; Wagenmakers, Eric Jan (2012). "Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?". Perspectives on Psychological Science. 7 (6): 528–530. doi:10.1177/1745691612465253. PMID 26168108.
  5. ↑ Fidler, Fiona; Wilcox, John (2018). "Reproducibility of Scientific Results". The Stanford Encyclopedia of Philosophy. Metaphysics Research Lab, Stanford University. Retrieved 19 May 2019.
  6. ↑ Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
  7. ↑ Gary Marcus (May 1, 2013). "The Crisis in Social Psychology That Isn't". The New Yorker.
  8. ↑ Jonah Lehrer (December 13, 2010). "The Truth Wears Off". The New Yorker.
  9. ↑ "Is There a Reproducibility Crisis in Science?". Nature Video, Scientific American. 28 May 2016. Retrieved 15 August 2019.
  10. ↑ Fanelli, Daniele (29 May 2009). "How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data". PLOS ONE. 4 (5): e5738. Bibcode:2009PLoSO...4.5738F. doi:10.1371/journal.pone.0005738. PMC 2685008. PMID 19478950.
  11. ↑ Achenbach, Joel. "No, science's reproducibility problem is not limited to psychology". The Washington Post. Retrieved 10 September 2015.
  12. ↑ Dominus, Susan (2017-10-18). "When the Revolution Came for Amy Cuddy". The New York Times (in English). ISSN 0362-4331. Retrieved 2017-10-19.
  13. ↑ Leichsenring, Falk; Abbass, Allan; Hilsenroth, Mark J.; Leweke, Frank; Luyten, Patrick; Keefe, Jack R.; Midgley, Nick; Rabung, Sven; Salzer, Simone; Steiner, Christiane (April 2017). "Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research". Psychological Medicine. 47 (6): 1000–1011. doi:10.1017/S003329171600324X. PMID 27955715.
  14. ↑ Hengartner, Michael P. (February 28, 2018). "Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials?". Frontiers in Psychology. Frontiers Media. 9: 256. doi:10.3389/fpsyg.2018.00256. PMC 5835722. PMID 29541051.
  15. ↑ Frank, Michael C.; Bergelson, Elika; Bergmann, Christina; Cristia, Alejandrina; Floccia, Caroline; Gervain, Judit; Hamlin, J. Kiley; Hannon, Erin E.; Kline, Melissa; Levelt, Claartje; Lew-Williams, Casey; Nazzi, Thierry; Panneton, Robin; Rabagliati, Hugh; Soderstrom, Melanie; Sullivan, Jessica; Waxman, Sandra; Yurovsky, Daniel (9 March 2017). "A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building" (PDF). Infancy. 22 (4): 421–435. doi:10.1111/infa.12182. hdl:10026.1/9942. Retrieved 19 December 2018.
  16. ↑ Tyson, Charlie (14 August 2014). "Failure to Replicate". Inside Higher Ed. Retrieved 19 December 2018.
  17. ↑ Makel, Matthew C.; Plucker, Jonathan A. (1 August 2014). "Facts Are More Important Than Novelty: Replication in the Education Sciences". Educational Researcher. 43 (6): 304–316. doi:10.3102/0013189X14545513. Retrieved 19 December 2018.
  18. ↑ Stanley, T. D.; Carter, Evan C.; Doucouliagos, Hristos (2018). "What meta-analyses reveal about the replicability of psychological research". Psychological Bulletin (in English). 144 (12): 1325–1346. doi:10.1037/bul0000169. ISSN 1939-1455. PMID 30321017.
  19. ↑ 19,0 19,1 19,2 John, Leslie K.; Loewenstein, George; Prelec, Drazen (2012-05-01). "Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling" (PDF). Psychological Science. 23 (5): 524–532. doi:10.1177/0956797611430953. ISSN 0956-7976. PMID 22508865.
  20. ↑ "The Nine Circles of Scientific Hell". Perspectives on Psychological Science. 7 (6): 643–644. 2012-11-01. doi:10.1177/1745691612459519. ISSN 1745-6916. PMID 26168124.
  21. ↑ "Research misconduct - The grey area of Questionable Research Practices". www.vib.be. Retrieved 2015-11-13.
  22. ↑ Fiedler, Klaus; Schwarz, Norbert (2015-10-19). "Questionable Research Practices Revisited". Social Psychological and Personality Science. 7: 45–52. doi:10.1177/1948550615612150. ISSN 1948-5506.
  23. ↑ Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). "False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant". Psychological Science. 22 (11): 1359–1366. doi:10.1177/0956797611417632. ISSN 0956-7976. PMID 22006061.
  24. ↑ Shea, Christopher (13 November 2011). "Fraud Scandal Fuels Debate Over Practices of Social Psychology". The Chronicle of Higher Education.
  25. ↑ Kahneman, Daniel. "A New Etiquette for Replication" – via Scribd.
  26. ↑ "Link to issue". Social Psychology. Hogrefe Publishing. 45 (3). 2014. Archived from the original on 30 May 2014.
  27. ↑ Inhaltsverzeichnis
  28. ↑ Open Science Collaboration (2015). "Estimating the reproducibility of Psychological Science" (PDF). Science. 349 (6251): aac4716. doi:10.1126/science.aac4716. hdl:10722/230596. PMID 26315443.
  29. ↑ Coyne, James (April 15, 2014). "Are meta analyses conducted by professional organizations more trustworthy?". Mind the Brain. Retrieved September 13, 2016.
  30. ↑ Connor, Steve (27 August 2015). "Study reveals that a lot of psychology research really is just 'psycho-babble'". The Independent. London.
  31. ↑ Meyer, Michelle N.; Chabris, Christopher (31 July 2014). "Why Psychologists' Food Fight Matters" – via Slate.
  32. ↑ "Psychology Is Starting To Deal With Its Replication Problem". 27 August 2015.
  33. ↑ "Science Isn't Broken". 19 August 2015.
  34. ↑ Etchells, Pete (28 May 2014). "Psychology's replication drive: it's not about you". The Guardian.
  35. ↑ Wagenmakers, Eric-Jan; Wetzels, Ruud; Borsboom, Denny; Maas, Han L. J. van der; Kievit, Rogier A. (2012-11-01). "An Agenda for Purely Confirmatory Research". Perspectives on Psychological Science. 7 (6): 632–638. doi:10.1177/1745691612463078. ISSN 1745-6916. PMID 26168122.
  36. ↑ Ioannidis, John P. A. (2012-11-01). "Why Science Is Not Necessarily Self-Correcting". Perspectives on Psychological Science. 7 (6): 645–654. doi:10.1177/1745691612464056. ISSN 1745-6916. PMID 26168125.
  37. ↑ Pashler, Harold; Harris, Christine R. (2012-11-01). "Is the Replicability Crisis Overblown? Three Arguments Examined". Perspectives on Psychological Science. 7 (6): 531–536. doi:10.1177/1745691612463401. ISSN 1745-6916. PMID 26168109.
  38. ↑ Bartlett, Tom (30 January 2013). "Power of Suggestion". The Chronicle of Higher Education.
  39. ↑ 39,0 39,1 Chambers, Chris (10 June 2014). "Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology?". The Guardian.
  40. ↑ Makel, Matthew C.; Plucker, Jonathan A.; Hegarty, Boyd (2012-11-01). "Replications in Psychology Research How Often Do They Really Occur?". Perspectives on Psychological Science. 7 (6): 537–542. doi:10.1177/1745691612460688. ISSN 1745-6916. PMID 26168110.
Abgerufen von „https://www.freewiki.eu/de/index.php?title=Replikationskrise&oldid=4620“