Logistic Versus Linear Regression-Based Reliable Change Index: A Simulation Study With Implications for Clinical Studies With Different Sample Sizes

Abstract

The linear regression-based reliable change index (RCI) is widely used to identify memory impairments through longitudinal assessment. However, the minimum sample size required for estimates to be reliable has never been specified. Using data from 920 participants from the Alzheimer’s Disease Neuroimaging Initiative data as true parameters, we run 12,000 simulations for samples of size 10–1,000 and analyzed the percentage of times the estimates are significant, their coverage rate, and the accuracy of the models including both the true-positive rate and the true-negative rate. We compared the linear RCI with a logistic RCI for discrete, bounded scores. We found that the logistic RCI is more accurate than the linear RCI overall, with the linear RCI approximating the logistic RCI for samples of size 200 or greater. We provide an R package to compute the logistic RCI, which can be downloaded from the Comprehensive R Archive Network (CRAN) at https://cran.r-project.org/web/packages/LogisticRCI/, and the code to reproduce all results in this article at https://github.com/rafamoral/LogisticRCIpaper/.

El índice de cambio confiable (ICC) basado en regresión lineal se utiliza ampliamente para identificar deterioros de la memoria mediante evaluación longitudinal. Sin embargo, nunca se ha especificado el tamaño mínimo de muestra necesario para que las estimaciones sean confiables. Utilizando datos de 920 participantes de la Iniciativa de Neuroimagen de la Enfermedad de Alzheimer como parámetros reales, ejecutamos 12 000 simulaciones para muestras de entre 10 y 1000 individuos y analizamos el porcentaje de veces que las estimaciones son significativas, su tasa de cobertura y la precisión de los modelos, incluyendo tanto la tasa de verdaderos positivos como la de verdaderos negativos. Comparamos el ICC lineal con un ICC logístico para puntuaciones discretas y acotadas. Observamos que el ICC logístico es más preciso que el ICC lineal en general, y que este último se aproxima al logístico para muestras de 200 individuos o más. Proporcionamos un paquete R para calcular el RCI logístico, que se puede descargar de la Red Integral de Archivos R (CRAN) en https://cran.r-project.org/web/packages/LogisticRCI/, y el código para reproducir todos los resultados de este artículo en https://github.com/rafamoral/LogisticRCIpaper/.