Does e-assessment always fit digital natives? A within-subject comparison between paper- and tablet-based gambling assessments in adolescents

Abstract

Technological development has enabled the use of sophisticated methods for assessing multiple human behaviors. Despite the advantages of these new technologies, concerns exist regarding their equivalence with paper-based measures in epidemiological and health-related surveys. To date, literature on this topic in relation to adolescents is virtually nonexistent. This study compares respondents’ performance on the same survey using both paper- and electronic tablet- based assessment methods. A final sample of 135 adolescents (mean age 17.30 years, SD = 0.59; 56.3% males) consecutively completed two versions of the same survey on gambling behaviors and two questionnaires: The Gambling Motives Questionnaire (GMQ) and the South Oaks Gambling Screening-Revised for Adolescents (SOGS-RA). An ad-hoc questionnaire assessing participants’ satisfaction levels with each method was also used. The digital survey yielded a lifetime, past year, and past month gambling prevalence of 54.1%, 45.2%, and 27.4%, respectively. Paper-based prevalence rates were 3.7-5.2% lower (all p >.092) and there were discrepancies in gambling activities. Although the reliability of the questionnaires was high in both formats, total scores were consistently higher in the paper-based format. GMQ and SOGS-RA intraclass correlations between versions ranged from .856-.884. Unexpectedly, students preferred the paper-based survey to the e-assessment (51.5% vs. 48.5%) and also enjoyed it more (31.3% vs 26.1%). Paper- and tablet-based surveys yield different, albeit non-statistically significant, estimations of gambling behaviors even when the same participants were surveyed at one time. We recommend that consistency be routinely checked across assessment formats when adapting paper-and-pencil measures to digital formats

¿La evaluación electrónica siempre se adapta a los nativos digitales? Una comparación intra-sujeto de la evaluación del juego de azar entre papel y tabletas electrónicas en adolescentes. El desarrollo tecnológico ha permitido el uso de métodos sofisticados de evaluación de múltiples comportamientos humanos. A pesar de los avances de estas nuevas tecnologías, existen preocupaciones sobre su equivalencia con las medidas de papel y lápiz en encuestas epidemiológicas y de salud. Hasta la fecha, la literatura en el tema en relación con los adolescentes es prácticamente inexistente. Este estudio compara el desempeño de los participantes sobre la misma encuesta utilizando métodos de evaluación de papel y lápiz y electrónicos. Una muestra de 135 adolescentes (edad media 17.30 años, DT = 0.59; 56.3% hombres) completaron consecutivamente os versiones de la misma encuesta sobre conductas de juego y dos cuestionarios: el Cuestionario de Motivos de Juego (GMQ) y el Cribado de Juego de South Oaks en su versión revisada para adolescentes (SOGS-RA). También se utilizó un cuestionario ad-hoc para evaluar el nivel de satisfacción de los participantes en cada método. La encuesta digital arrojó una prevalencia de juego vida, año y mes de 54,1%, 45,2%, y 27,4%, respectivamente. Las prevalencias en papel fueron 3,7-5,2% menores (todas p >,092) y se mostraron discrepancias en las actividades de apuestas. A pesar de que la fiabilidad de los cuestionarios fue alta en ambos formatos, las puntuaciones totales fueron consistentemente más altas en el formato en papel. Las correlaciones intraclase en el GMQ y SOGS-RA oscilaban entre ,856 - ,884. Inesperadamente, los estudiantes preferían la encuesta en papel sobre el formato digital (51,5% vs. 48,5%) y también lo disfrutaron más (31,3% vs 26,1%). La encuesta en papel y en tableta electrónica mostraron estimaciones diferentes, aunque no estadísticamente significativas, en las conductas de juego, incluso a pesar de haber sido encuestados en el mismo momento. Recomendamos comprobar de manera rutinaria la consistencia entre formatos de evaluación cuando se adapten medidas de papel y lápiz a formato digital