Journal Article

Psychological Measurement and the Replication Crisis: Four Sacred Cows

Lilienfeld, Scott O., Strother, Adele N.

2020

Overview

Although there are surely multiple contributors to the replication crisis in psychology, one largely unappreciated source is a neglect of basic principles of measurement. We consider 4 sacred cows-widely shared and rarely questioned assumptions-in psychological measurement that may fuel the replicability crisis by contributing to questionable measurement practices. These 4 sacred cows are: (a) we can safely rely on the name of a measure to infer its content; (b) reliability is not a major concern for laboratory measures; (c) using measures that are difficult to collect obviates the need for large sample sizes; and (d) convergent validity data afford sufficient evidence for construct validity. For items a and d, we provide provisional data from recent psychological journals that support our assertion that such beliefs are prevalent among authors. To enhance the replicability of psychological science, researchers will need to become vigilant against erroneous assumptions regarding both the psychometric properties of their measures and the implications of these psychometric properties for their studies. Bien qu'il soit certain que de nombreux facteurs contribuent à la crise de la reproductibilité en psychologie, l'un d'entre eux, largement méconnu, est la négligence des principes de base de la mesure. Nous examinons quatre principes « intouchables » de la mesure en psychologie - des hypothèses largement diffusées et rarement remises en question - qui, en rendant les pratiques de mesure discutables, peuvent alimenter la crise de la reproductibilité. Ces quatre intouchables sont les suivants : (A) nous pouvons nous fier en toute confiance au nom d'une mesure pour en déduire le contenu; (b) la fiabilité n'est pas une préoccupation majeure pour les mesures en laboratoire; (c) le recours à des mesures qui sont difficiles à recueillir écarte le besoin d'échantillons de taille plus importante; (d) des données convergentes sur la validité constituent des éléments de preuve suffisants de la validité conceptuelle. Pour les éléments a et d, nous fournissons des données provisoires issues de revues de psychologie récentes qui soutiennent notre affirmation selon laquelle de telles croyances prévalent parmi les auteurs. Afin d'améliorer la reproductibilité de la science de la psychologie, les chercheurs devront être vigilants face aux suppositions erronées concernant les propriétés psychométriques de ces mesures et aux répercussions de ces propriétés psychométriques pour leurs études. Public Significance Statement This article outlines four widely held but erroneous measurement assumptions that may adversely affect the accuracy and replicability of psychological findings. The effects of questionable measurement practices stemming from these assumptions are discussed, and new data bearing on the prevalence of these assumptions in academic journals are presented. In addition, this article offers several potential remedies that researchers and journals can implement to improve the measurement of psychological constructs.

• Publisher: Educational Publishing Foundation,Canadian Psychological Association
• Subject: Construct Validity / Convergent Validity / Crises / Discriminant Validity / Empathy / Experimental Laboratories / Experimental Replication / Human / Hypotheses / Laboratories / Measurement / Measures / Property / Psychological Assessment / Psychology / Quantitative psychology / Reliability / Reproducibility / Researchers / Sacredness / Sample Size / Test Reliability / Validation studies / Validity
• ISBN: 1433894114, 9781433894114