Journal Article

Proof of Concept for a Multimethod Approach to Evaluate the Usability of Websites With Public Health Content: The Case of Alzheimer Association Websites

Friedrich, Trista E., Hunter, Paulette V., Smith, Austen K.

2023

Overview

Methods for assessing usability are advancing rapidly and include think-aloud protocols, objective measures such as task timing, and ultrasensitive measures such as eye tracking and page recording. In this study, we provide proof-of-concept for the new, combined use of these three types of measures within a quasi-experimental paradigm focused on a question relevant to public health. The quasi-experiment specifically involved assessing the usability of four English-language Alzheimer websites from around the world (USA, U.K., Ireland, Canada), all of which contained information about cognitive health. Participants completed two tasks; one requiring them to identify strategies to prevent dementia and another requiring them to locate a definition of Alzheimer's disease. We hypothesized that the websites would have superior usability for the former task and inferior usability for the latter task. We also hypothesized positive correlations among eye tracking measures, simpler performance measures (e.g., task completion time), and subjective usability measures. We found that the new quasi-experimental protocol facilitated comparison of tasks and websites. It also facilitated interpretation by permitting comparison across measures. Overall, this study provides proof of concept for the use of this multimethod approach to evaluate the usability of websites. It also provides information that could potentially be used to advance further pilot or experimental hypothesis testing on this topic. Les méthodes d'évaluation de la convivialité progressent rapidement et comprennent des protocoles de réflexion à voix haute, des mesures objectives telles que le chronométrage des tâches, et des mesures ultrasensibles telles que l'oculométrie et l'enregistrement des pages. Dans cette étude, nous fournissons une preuve de concept pour l'utilisation nouvelle et combinée de ces trois types de mesures dans un paradigme quasi expérimental axé sur une question pertinente pour la santé publique. La quasi-expérience consistait spécifiquement à évaluer la convivialité de quatre sites Web anglophones consacrés à la maladie d'Alzheimer et provenant du monde entier (États-Unis, Royaume-Uni, Irlande, Canada), qui contenaient tous des informations sur la santé cognitive. Les participants ont effectué deux tâches : l'une leur demandant d'identifier des stratégies de prévention de la démence et l'autre leur demandant de trouver une définition de la maladie d'Alzheimer. Nous avons émis l'hypothèse que les sites Web seraient plus faciles à utiliser pour la première tâche et moins faciles à utiliser pour la seconde. Nous avons également émis l'hypothèse de corrélations positives entre les mesures d'oculométrie, les mesures de performance plus simples (par exemple, le temps de réalisation d'une tâche) et les mesures subjectives de convivialité. Nous avons constaté que le nouveau protocole quasi expérimental facilitait la comparaison des tâches et des sites Web. Il a également facilité l'interprétation en permettant la comparaison entre les mesures. Dans l'ensemble, cette étude fournit une preuve de concept pour l'utilisation de cette approche multiméthodes afin d'évaluer la convivialité des sites Web. Elle fournit également des informations qui pourraient éventuellement être utilisées pour faire avancer d'autres tests pilotes ou de vérification d'hypothèses sur ce sujet. Public Significance Statement In the \"information age,\" the internet is an important venue for translating health information to the public. Unfortunately, previous research has shown that some of the most accurate and informative websites are ultimately not very usable. After reviewing the state of usability science, we noticed that while some researchers rely on subjective measures (how usable do you think the website was?), others rely on simple performance measures like how long it took to find relevant information, and still others use eye tracking software to document exactly how the user navigates the website. In this study, we designed a protocol that combines each type of measure to answer a public health research question. The study provides evidence that these measures are comparable and that using them together can facilitate interpretation.

• Publisher: Educational Publishing Foundation,Canadian Psychological Association
• Subject: Aging / Alzheimer's Disease / Anglophones / Cognition / Cognitive Ability / Concepts / Dementia / Design / Disclaimers / Efficiency / English language / Eye Movements / Eye tracking / Female / Human / Hypothesis testing / Internet / Irish English / Male / Mixed methods research / Prevention / Public Health / Quasi Experimental Methods / Software / Subjectivity / Task completion / Tracking / Usability / Websites