Data practices in quality evaluation and assessment: Two universities at a glance. (26th October 2021)

• Record Type: Journal Article
• Authors: Raffaghelli, Juliana E.; Grion, Valentina; de Rossi, Marina
• Is Part Of: Higher education quarterly. Volume 77:Number 1(2023)
• Page Start: 7
• Page End: 26
• Publication Date: 2021-10-26
• Subjects: data cultures -- data practices -- faculty development -- higher education -- Survey; Education, Higher -- Great Britain -- Periodicals; Higher education and state -- Great Britain -- Periodicals; 378
• DOI: 10.1111/hequ.12361
• Languages: English
• ISSNs: 0951-5224

Abstract

Abstract: As the debate on data in the society and in education grows the attention on data‐trace as 'primary material' for governance, educational quality and innovation falls under the spotlights. In this context, HEIs have been put under pressure to adopt quantitative metrics and evaluation approaches enhancing the massive collection of trace data. Nonetheless, each university overall, and the academics specifically, might respond differently to this context of innovation. The present article aims to explore data practices in two higher education institutions. Two relevant areas for the imaginaries related to data and quantification were explored: (a) evaluation of quality in teaching and learning; (b) data to support assessment. The study is based on a survey distributed to the whole university teaching staff of two institutions. Descriptive and inferential statistics comparing multivariate sample means (MANOVA) were applied to 601 responses collected. The results indicated the prevalence of institutionally consolidated data practices relative to quality teaching evaluation, with fragmentation and isolation in some emerging data practices connected to decision‐making and teaching and learning. Moreover, each of the universities revealed distinct institutional profiles which could be put in connection with the organisational culture. The results are discussed in light of the potential strategies at the institutional level, particularly regarding faculty development as means to build a visible, contextualised data culture. Abstract : A medida que aumenta el debate sobre los datos en la sociedad y en la educación, la atención sobre el rastreo de datos como 'material primario' para la gobernanza, la calidad educativa y la innovación recibe cada vez más atención. En este contexto, se ha presionado a las IES para que adopten métricas cuantitativas y enfoques de evaluación que potencien la recopilación masiva de datos de seguimiento. Sin embargo, cada universidad en general, y los académicos en particular, pueden responder de forma diferente a este contexto de innovación. El presente artículo pretende explorar las prácticas de datos en dos instituciones de educación superior. Se exploran dos áreas relevantes para los imaginarios relacionados con los datos y la cuantificación: (a) la evaluación de la calidad en la enseñanza y el aprendizaje; (b) los datos para apoyar la evaluación. El estudio se basa en una encuesta distribuida a todo el profesorado universitario de las dos instituciones. Se aplicaron estadísticas descriptivas e inferenciales de comparación de medias muestrales multivariadas (MANOVA) a 601 respuestas recogidas. Los resultados indicaron la prevalencia de prácticas de datos consolidadas institucionalmente en relación con la evaluación de la calidad de la enseñanza, con fragmentación y aislamiento en algunas prácticas de datos emergentes relacionadas con la toma de decisiones y la enseñanza y el aprendizaje. Además, cada una de las universidades reveló perfiles institucionales distintos que podrían ponerse en relación con la cultura organizativa. Los resultados se discuten a la luz de las posibles estrategias a nivel institucional, especialmente en lo que respecta al desarrollo del profesorado como medio para construir una cultura de datos visible y contextualizada.