Journal Article

Research methods and reporting practices in zoo and aquarium conservation-education evaluation

Mellish, Sarah, Ryan, Jillian C., Pearson, Elissa L., Tuckey, Michelle R.

2019

Overview

Zoos and aquariums are increasingly incorporating conservation education into their mission statements and visitor experiences to address global biodiversity loss. To advance knowledge and practice in the field, research is being conducted to evaluate the effect of zoo conservation-education experiences on visitor psychosocial outcomes (e.g., knowledge, attitude, emotions, motivations, behavior). Following recent discussions among scholars and practitioners concerning logistical and methodological challenges that likely undermine the conclusions of such research, we identified and reviewed the methods and reporting practices in peer-reviewed articles published in English from May 1998 to June 2016 that focused on adult visitor samples (47 articles, 48 studies). We examined elements of internal, external, construct, and statistical conclusion validity. Methodological quality of quantitative methods and reporting practices was determined using the Effective Public Health Practice Project Quality Assessment Tool. Each study was coded as either strong (no weak ratings), moderate (1 weak rating), or weak (≥2 weak ratings). The quantitative methods of 83.3% of studies were weak. The remaining 16.7% had methods of moderate quality. Using an existing checklist, we also assessed the quality and rigor of qualitative methods and reporting practices and found that some aspects of these methods were reported more comprehensively than others. For example, 69.6% of articles discussed methods for identifying key themes from the data, whereas only 34.8% reported how data verification was performed. We suggest increased application of intensive longitudinal methods (e.g., daily diary) to strengthen self-reported data, experimental and repeated-measures designs, and mixed-methods approaches. Our findings and recommendations could strengthen and guide the research and evaluation agenda for the field and ultimately enhance the contribution zoos make to global biodiversity conservation. Los acuarios y los zoológicos cada vez incorporan más la educación para la conservación dentro de su misión y experiencias para el visitante con el objetivo de tratar el tema de la pérdida de la biodiversidad. Para avanzar el conocimiento y la práctica en el campo se realizan investigaciones para evaluar el efecto de las experiencias de conservación–educación en los zoológicos sobre los resultados psicosociales de los visitantes (p. ej.: conocimiento, actitud, emociones, motivación, comportamiento). Después de las discusiones recientes entre académicos y practicantes con respecto a los retos logísticos y metodológicos que probablemente socavan las conclusiones de dichas investigaciones nos dedicamos a identificar y revisar los métodos y prácticas de reporte en artículos con revisión por pares publicados en inglés entre mayo de 1998 y junio de 2016, y enfocados en muestras de visitantes adultos (47 artículos, 48 estudios). Examinamos los elementos internos, externos, de construcción y estructurales de la validez de las conclusiones en los artículos. Se determinó la calidad metodológica de los métodos cuantitativos y la práctica de reportes usando la Herramienta de Evaluación de Calidad de Proyectos de Práctica de la Salud Pública. Cada estudio estuvo codificado como fuerte (sin clasificaciones débiles), moderado (una clasificación débil) o débil (dos o más clasificaciones débiles). Los métodos cuantitativos del 83.3% de los estudios fueron débiles. El 16.7% restante tuvo métodos de calidad moderada. También evaluamos la calidad y el rigor de los métodos cualitativos con una lista de cotejo existente y hallamos que algunos aspectos de estos métodos estuvieron reportados de manera más comprensiva que otros. Por ejemplo, el 69.6% de los artículos discutió métodos para identificar temas clave a partir de los datos, mientras que sólo el 34.8% reportó cómo se realizó la verificación de los datos. Sugerimos un aumento en la aplicación de métodos longitudinales intensivos (p. ej.: agenda diaria) para fortalecer los datos auto-reportados; diseño de medidas experimentales y repetidas; y estrategias con métodos mixtos. Nuestros hallazgos y recomendaciones pueden fortalecer y guiar la agenda de evaluación e investigación para el campo, y por último realzar la aportación que los zoológicos realizan para la conservación mundial de la biodiversidad. 目前，越来越多动物园和水族馆将保护教育纳入它们的使命和游客体验活动中，以应对全球生物多样性的 丧失。为提高这ー领域的知识和实践水平，研究评估了动物园的保护教育对游客产生的社会心理学影响(Mi知 识、态度、情感、动机和行为) 。延续近期学者和保护实践者对可能削弱这类研究结论的运筹学、方法学挑战 的讨论，我们选定了 1998 年 5 月至 2016 年 6 月发表的针对成年游客样本的同行评议英文文章共 47 篇（48 个 研究), 并对其所采用的研究方法及报告规范进行了综述。我们检验了内部、外部、构造和统计结论可靠性的要 素。利用\"有效公共卫生实践项目质量评估工具' 我们评估了定量的方法和报告的方法学水平，并将研究分为 较高C没有低等级评分) 、中等（ー个低等级评分) 或较低（两个以上低等级评分) 水平。83.3% 的研究的定量方 法被评为较低水平，其余 16.7% 为中等水平。利用已有的检查表，我们还评估了定性方法和报告的水平和严谨 性，发现这些方法对某些方面的报道比其它方面更详尽。例如，有 69.6% 的文章讨论了从数据中识别关键主题 的方法，而只有 34.8% 的文章描述了如何进行数据审核。因此，我们建议.•更多地应用密集的纵向方法 (的每天 的3 记) 来加强自我报告数据的收集; 注意实验和重复测量的设计; 采用多方法混合的方式。我们的发现和建议 可以指导和強化该领域的研究和评估方法，最终加大动物园对全球生物多祥性保护的贡献。

• Publisher: Wiley,Blackwell Publishing Ltd
• Subject: adults / Aichi biodiversity / Aquaria / Aquariums / Biodiversity / Biodiversity conservation / Biodiversity loss / Codification / conservación de la biodiversidad / Conservation / conservation psychology / Data / Data processing / educación ambiental / Education / emotions / environmental education / Evaluation / Identification methods / methodological review targets / motivation / objetivos de biodiversidad de Aichi / psicología de la conservación / Public health / qualitative analysis / Quality assessment / Quality control / quantitative analysis / Ratings / research and development / Research methodology / Research methods / Review / revisión metodológica / Statistical analysis / Statistical methods / Wildlife conservation / Zoos / 保护心理学, 环境教育, 方法学综述, 生物多样性保护, 爱知生物多样性目标