A new way to look at simulation-based assessment: the relationship between gaze-tracking and exam performance. Issue 1 (21st June 2018)

• Record Type: Journal Article
• Authors: Szulewski, Adam; Egan, Rylan; Gegenfurtner, Andreas; Howes, Daniel; Dashi, Gerhard; McGraw, Nick C. J.; Hall, Andrew K.; Dagnone, Damon; van Merrienboer, Jeroen J. G.
• Is Part Of: CJEM. Volume 21:Issue 1(2019)
• Page Start: 129
• Page End: 137
• Publication Date: 2018-06-21
• Subjects: assessment, -- emergency medicine, -- gaze-tracking, -- medical education, -- simulation; Emergency Treatment -- Periodicals; Emergency Medicine -- Periodicals; Emergency medical services -- Canada -- Periodicals; Medical emergencies -- Canada -- Periodicals; Emergency medical services; Medical emergencies; Canada; Periodicals; 616.02505
• DOI: 10.1017/cem.2018.391
• Languages: English
• ISSNs: 1481-8035

Abstract

Abstract : CLINICIAN'S CAPSULE : What is known about this topic? Gathering visual information effectively is an important task of a physician leader when managing a resuscitation case. What did this study ask? Are there particular visual information-gathering patterns associated with performance in simulated resuscitation scenarios? What did this study find? Certain visual patterns (e.g., focusing on case-specific clinically relevant stimuli) are associated with better performance in a simulated resuscitation setting. Why does this study matter to clinicians? The ability to characterize physician visual patterns across a competence continuum has implications for trainee assessment and medical education. Abstract: Objective: A key task of the team leader in a medical emergency is effective information gathering. Studying information gathering patterns is readily accomplished with the use of gaze-tracking glasses. This technology was used to generate hypotheses about the relationship between performance scores and expert-hypothesized visual areas of interest in residents across scenarios in simulated medical resuscitation examinations. Methods: Emergency medicine residents wore gaze-tracking glasses during two simulation-based examinations (n=29 and 13 respectively). Blinded experts assessed video-recorded performances using a simulation performance assessment tool that has validity evidence in this context. The relationships between gaze patterns and performance scores were analyzed and potential hypotheses generated. Four scenarios were assessed in this study: diabetic ketoacidosis, bradycardia secondary to beta-blocker overdose, ruptured abdominal aortic aneurysm and metabolic acidosis caused by antifreeze ingestion. Results: Specific gaze patterns were correlated with objective performance. High performers were more likely to fixate on task-relevant stimuli and appropriately ignore task-irrelevant stimuli compared with lower performers. For example, shorter latency to fixation on the vital signs in a case of diabetic ketoacidosis was positively correlated with performance (r=0.70, p<0.05). Conversely, total time spent fixating on lab values in a case of ruptured abdominal aortic aneurysm was negatively correlated with performance (r= −0.50, p<0.05). Conclusions: There are differences between the visual patterns of high and low-performing residents. These findings may allow for better characterization of expertise development in resuscitation medicine and provide a framework for future study of visual behaviours in resuscitation cases. Résumé: Objectif: Une des tâches importantes du chef d'équipe en médecine d'urgence est la collecte efficace de renseignements, et le port de lunettes de monitorage oculaire permet d'étudier rapidement et facilement les différents modes de collecte visuelle de renseignements. Les chercheurs ont donc eu recours à cette technique pour émettre des hypothèses selon lesquelles il existerait une relation entre la performance des résidents et la saisie de champs visuels d'intérêt présumés tels par des experts, dans des scénarios d'examen de réanimation axés sur la simulation, en médecine. Méthode: Des résidents en médecine d'urgence ont porté des lunettes de monitorage oculaire au cours de deux séances d'examen par simulation (n=29 et n=13, respectivement). Des experts tenus dans l'ignorance ont évalué le comportement des résidents enregistré sur vidéo, à l'aide d'un outil d'évaluation de la performance axée sur la simulation, dont la validité avait déjà fait ses preuves dans le contexte. Il y a eu analyse de relations entre la collecte visuelle de renseignements et la performance ainsi qu'émission d'hypothèses. Quatre scénarios ont été évalués dans l'étude : l'acidocétose diabétique, une bradycardie consécutive à un surdosage de bêta-bloquants, une rupture d'anévrisme de l'aorte abdominale et une acidose métabolique causée par la consommation d'antigel. Résultats: Des corrélations ont été établies entre certaines manières de recueillir visuellement les renseignements et la performance objective. Ainsi, ceux qui ont le mieux réussi avaient davantage tendance à se concentrer sur les stimulus pertinents, relatifs aux tâches et à ne pas tenir compte, à juste titre, des stimulus non pertinents comparativement à ceux qui ont moins bien réussi. Par exemple, un temps d'attente raccourci dans la collecte visuelle de renseignements sur les signes vitaux dans le cas de l'acidocétose diabétique s'est révélé en corrélation positive avec la performance (r=0, 70; p <0, 05), tandis que le temps total écoulé à glaner des renseignements sur les résultats d'examens de laboratoire dans le cas de la rupture d'anévrisme de l'aorte abdominale était en corrélation négative avec la performance (r=−0, 50; p <0, 05). Conclusion: Il existe donc des différences entre la manière de glaner visuellement les renseignements et la performance, bonne ou mauvaise, des résidents. Les résultats pourraient permettre une meilleure caractérisation de l'acquisition de la compétence en matière de médecine de réanimation, et fournir un cadre de travail en vue d'études futures sur les comportements visuels dans les cas de réanimation.