Comparing traditional and Bayesian approaches to ecological meta‐analysis. Issue 10 (26th July 2020)

• Record Type: Journal Article
• Authors: Pappalardo, Paula; Ogle, Kiona; Hamman, Elizabeth A.; Bence, James R.; Hungate, Bruce A.; Osenberg, Craig W.
• Editors: O'Hara, Robert B.
• Is Part Of: Methods in ecology and evolution. Volume 11:Issue 10(2020)
• Page Start: 1286
• Page End: 1295
• Publication Date: 2020-07-26
• Subjects: bias -- confidence interval -- coverage -- credible interval -- effect size -- global climate change -- log response ratio -- sample size; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13445
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: Despite the wide application of meta‐analysis in ecology, some of the traditional methods used for meta‐analysis may not perform well given the type of data characteristic of ecological meta‐analyses. We reviewed published meta‐analyses on the ecological impacts of global climate change, evaluating the number of replicates used in the primary studies ( ni ) and the number of studies or records ( k ) that were aggregated to calculate a mean effect size. We used the results of the review in a simulation experiment to assess the performance of conventional frequentist and Bayesian meta‐analysis methods for estimating a mean effect size and its uncertainty interval. Our literature review showed that ni and k were highly variable, distributions were right‐skewed and were generally small (median ni = 5, median k = 44). Our simulations show that the choice of method for calculating uncertainty intervals was critical for obtaining appropriate coverage (close to the nominal value of 0.95). When k was low (<40), 95% coverage was achieved by a confidence interval (CI) based on the t distribution that uses an adjusted standard error (the Hartung–Knapp–Sidik–Jonkman, HKSJ), or by a Bayesian credible interval, whereas bootstrap or z distribution CIs had lower coverage. Despite the importance of the method to calculate the uncertainty interval, 39% of the meta‐analyses reviewed did not report the method used, and of the 61% that did, 94% used a potentially problematic method, which may be a consequence of software defaults. In general, for a simple random‐effects meta‐analysis, the performance of the best frequentist and Bayesian methods was similar for the same combinations of factors ( k and mean replication), though the Bayesian approach had higher than nominal (>95%) coverage for the mean effect when k was very low ( k < 15). Our literature review suggests that many meta‐analyses that used z distribution or bootstrapping CIs may have overestimated the statistical significance of their results when the number of studies was low; more appropriate methods need to be adopted in ecological meta‐analyses. Resumen: A pesar del uso generalizado del meta‐análisis en el área de Ecología, algunos de los métodos de análisis tradicionalmente utilizados pueden dar resultados no ideales dado el tipo de datos que los caracteriza. En este trabajo se realizó una revisión de los meta‐análisis publicados sobre los impactos ecológicos del cambio climático global, evaluando el número de réplicas utilizadas en las publicaciones originales ( ni ) y el número de estudios o registros ( k ) que fueron agrupados para calcular un tamaño de efecto promedio. Se utilizaron los resultados de la revisión en un experimento de simulación para evaluar el desempeño de métodos frecuentistas convencionales y métodos Bayesianos para estimar un tamaño de efecto promedio y su intervalo de incertidumbre. La revisión de la literatura demostró que ni y k fueron muy variables, con distribuciones sesgadas, y con valores en general bajos (mediana ni = 5, mediana k = 44). Nuestras simulaciones muestran que la elección del método para calcular un intervalo de incertidumbre fue crítica para obtener una cobertura apropiada (alrededor del valor nominal de 0.95). Cuando k fue bajo (<40), obtuvimos una cobertura de 95% utilizando un intervalo de confianza basado en la distribución t de student que usa un ajuste por el error estándar (llamada Hartung–Knapp–Sidik–Jonkman, HKSJ), o utilizando un intervalo de credibilidad Bayesiano, mientras que los intervalos de remuestreo o con una distribución Normal tuvieron cobertura baja. A pesar de la importancia del método utilizado para calcular el intervalo de incertidumbre, 39% de los meta‐análisis revisados no reportaron el método utilizado y, de los 61% que si lo reportaron, 94% usaron uno de los métodos potencialmente problemáticos, lo que puede ser una consecuencia de la configuración por defecto de los programas informáticos utilizados para meta‐análisis. En general, para un meta‐análisis simple con efectos aleatorios, el desempeño del mejor método frecuentista y el método Bayesiano fueron similares para las mismas combinaciones de factores ( k y número de réplicas promedio), aunque el método Bayesiano tuvo cobertura mayor de la nominal (>95%) para el efecto promedio cuando k fue muy bajo ( k < 15). Nuestra revisión sugiere que muchos de los meta‐análisis que utilizaron una distribución Normal o intervalos de remuestreo pueden haber sobreestimado la significancia estadística de sus resultados cuando el número de estudios fue bajo. Otros métodos más apropiados deberían ser usados para meta‐análisis en Ecología.