When the p Value Doesn't Cut It: The Fragility Index Applied to Randomized Controlled Trials in Colorectal Surgery. Issue 2 (February 2022)

• Record Type: Journal Article
• Authors: Nelms, David W.; Vargas, H. David; Bedi, Ryan S.; Paruch, Jennifer L.
• Is Part Of: Diseases of the colon & rectum. Volume 65:Issue 2(2022)
• Publication Date: 2022-02
• Subjects: Colorectal surgery -- Fragility index -- Randomized controlled trials -- Research methodology -- Statistical significance; Colon (Anatomy) -- Diseases -- Periodicals; Rectum -- Diseases -- Periodicals; Colonic Diseases -- Periodicals; Colorectal Surgery -- Periodicals; 616.34
• DOI: 10.1097/DCR.0000000000002146
• Languages: English
• ISSNs: 0012-3706

Abstract

Abstract : BACKGROUND: The American Statistical Association, among others, has called for the use of statistical methods beyond p ⩽ 0.05. The fragility index is a statistical metric defined as the minimum number of patients for whom if an event rather than a nonevent occurred, then the p value would increase to ≥0.05. Previous reviews have demonstrated that many randomized controlled trials have a low fragility index, suggesting they may not be robust. OBJECTIVE: The purpose of this study was to review the fragility indices of randomized controlled trials in colorectal surgery. DATA SOURCES: A PubMed search was performed. STUDY SELECTION: Colorectal surgery randomized controlled trials with a dichotomous primary outcome p ⩽ 0.05 and publication between 2016 and 2018 were systematically identified. INTERVENTIONS: All procedural interventions related to colorectal surgery were included. MAIN OUTCOME MEASURES: The main measures were the fragility index and the number of patients lost to follow-up for each trial. The percentage of trials with the number of patients lost to follow-up greater than the fragility index was calculated. RESULTS: In total, 712 abstracts were reviewed, with 90 trials meeting the inclusion criteria. The median fragility index was 3 (interquartile range of 1 to 10). In 51 of the 90 trials (57%), the number of patients lost to follow-up was greater than the fragility index. LIMITATIONS: The fragility index is only one measure of the robustness of a randomized clinical trial. CONCLUSIONS: Most colorectal surgery randomized controlled trials have a low fragility index. In 57% of trials, more patients were lost to follow-up than would be required to change the outcome of the trial from "significant" to "nonsignificant" based on the p value. This emphasizes the importance of assessing the robustness of clinical trials when considering their clinical application, rather than relying solely on the p value. See Video Abstract at http://links.lww.com/DCR/B741 . CUANDO EL VALOR-P ES INSUFICIENTE: ÍNDICE DE FRAGILIDAD APLICADO EN ESTUDIOS ALEATORIOS CONTROLADOS EN CIRUGÍA COLORECTAL ANTECEDENTES: La Sociedad Estadounidense de Estadística, entre otros, ha pedido el uso de métodos estadísticos más allá de p <0, 05. El índice de fragilidad es una medida estadística definida como el número de desenlaces que podrían cambiar para revertir, o conseguir, la significación estadística, así el valor p aumentaría a ≥ 0, 05. Las revisiones anteriores han demostrado que muchos estudios aleatorios controlados tienen un índice de fragilidad bajo, lo que sugiere que pueden poco sólidos. OBJETIVO: El propósito de la présente investigación fué de revisar los índices de fragilidad de los estudios aleatorios controlados en cirugía colorrectal. FUENTES DE DATOS: PubMed. SELECCIÓN DE ESTUDIOS: Se identificaron sistemáticamente estudios aleatorios controlados de cirugía colorrectal con un resultado primario dicotómico, valor de p ⩽ 0, 05 y publicados entre 2016-2018. INTERVENCIONES: Se incluyeron todas aquellas intervenciones con procedimientos relacionados con la cirugía colorrectal. PRINCIPALES MEDIDAS DE RESULTADO: Las principales medidas fueron: el índice de fragilidad y el número de pacientes perdidos durante el seguimiento en cada estudio. Se calculó el el índice de fragilidad en porcentaje de estudios con el mayor número de pacientes perdidos durante el seguimiento mas prolongado. RESULTADOS: En total, se revisaron 712 resúmenes con 90 ensayos que cumplieron con los criterios de inclusión. La mediana del índice de fragilidad fue de 3 (rango intercuartíl de 1 a 10). En 51 de los 90 estudios (57%), el número de pacientes perdidos durante el seguimiento fue mayor que el índice de fragilidad. LIMITACIONES: El índice de fragilidad es solo una medida de la robustez de un estúdio clínico aleatorio. CONCLUSIONES: La mayoría de los estudios aleatorios y controlados en cirugía colorrectal tienen un índice de fragilidad bajo. En el 57% de los estudios, se perdieron más pacientes durante el seguimiento de los que se necesitarían para cambiar el resultado del estudios de grado "significativo" a un grado "no significativo" según el valor-p. Este concepto enfatiza la importancia de evaluar la robustez de los estudios clínicos al considerar su aplicación verdadera aplicación clínica, en lugar de depender únicamente del valor-p. Consulte Video Resumen en http://links.lww.com/DCR/B741 . (Traducción—Dr. Xavier Delgadillo )