Eindrapportage gebruikerstesten van de coronavirus notificatie-app: CoronaMelder

Samenvatting
Inleiding
In opdracht van het Ministerie van Volksgezondheid, Welzijn en Sport wordt een corona notificatie app ontwikkeld. Op de Universiteit Twente zijn gebruikerstesten (zogenaamde usability testen) uitgevoerd om de app te beproeven. Het doel is om na te gaan wat het gebruiksgemak is, of de technologie toepasbaar is, en of eindgebruikers snappen waar deze app voor dient. De bevindingen leiden tot aanbevelingen, inzicht in de bruikbaarheid, verbeterpunten en acceptatie van de app.
Tijdens de test is onderzocht hoe gebruikers, met name jongeren en ouderen, de 4 belangrijkste scenario’s van de app ervaren. Dit betreft (i) installeren van de app, (ii) daaropvolgende reguliere gebruik, (iii) het ontvangen van een notificatie na contact met een besmet persoon, en (iv) het proces na (geënsceneerd) bellen door de GGD bij een positieve test.

Methode
Dit onderzoek is uitgevoerd tussen 29 juni en 3 juli 2020. De bèta-versie van de Corona-notificatie app werd getest op IOS en Android test-smartphones. Scenario’s die niet in de beta-versie getest konden worden, zijn getest door middel van Figma-mock-ups (doorklikbare screenshots). In totaal hebben 47 potentiële gebruikers de app getest:
- Jongeren met lagere opleiding (lagere school, VMBO) (n=13)
- Jongeren met een hogere opleiding (HAVO/VWO, MBO, HBO/Universiteit) (n=7)
- Jongeren met een verstandelijke beperking (n=6)
- Statushouders (volwassenen) (n=2)
- Middenstanders (volwassenen tussen 40 en 65 jaar) (n=9)
- Ouderen (volwassenen 65+ jaar) (n=10)
Voor het testen is gebruikt gemaakt van een scenario-based gebruikerstest met een aanvullend interview. Hierin werden de deelnemers gevraagd om zelfstandig de scenario’s te doorlopen en daarbij hardop te denken. De jongeren met een lagere opleiding deden dit in duo’s, waarbij ze gevraagd werden om met elkaar te overleggen wat ze zouden doen en waarom. De resultaten werden vastgelegd door middel van video- en audio-opnamen, participerende observatie, de Nederlandse versie van de User Experience Questionnaire (UEQ-Dutch), en bij enkele participanten door middel van met eyetrackers t.b.v. objectieve kijkgedrag-metingen.
In dit conceptrapport zijn de bevindingen van 47 gebruikerstest weergegeven na ruwe analyse van de (geautomatiseerde) transcripten van de testen, aantekeningen gemaakt door de onderzoekers, statistieken van de UEQ en eerste heatmap and gazeplot-analyse van de eyetracking data. Transcripties van de letterlijke weergave van de audio opnamen worden momenteel uitgevoerd door de betrokken onderzoekers. De uitwerkingen worden vervolgens gecodeerd (thematische analyse) en de resultaten daarvan worden verwerkt tot verdieping en nadere verantwoording van de resultaten beschreven in een update van dit verslag (verwachte resultaten rond 31 juli).

Resultaten
Voordat de app gezien werd heeft ongeveer de helft van de deelnemers een positieve houding tegenover de app, al zijn ze in veel gevallen niet overtuigd van het nut. Ook worden er meerdere misvattingen genoemd over de werking en het nut van de app, met name door de jongeren, die leiden tot een negatievere houding.
De installatie van de app verliep soepel voor de deelnemers, al werd de informatie achter ‘over deze app’ weinig gelezen. Na de installatie konden de deelnemers over het algemeen uitleggen dat de app ze een melding zou sturen als iemand waarbij je in de buurt bent geweest positief getest is op Corona, maar was er geen duidelijkheid over op welk moment in de tijd die notificatie zou komen.
Ook de onboarding verliep (qua gebruiksvriendelijkheid) over het algemeen soepel. Met name de jongeren klikten snel door de verschillende schermen heen en de gegeven informatie werd niet altijd gelezen of verwerkt. Ouderen namen meer tijd voor de onboarding en lazen de informatie vollediger. Het geven van toestemming voor bluetooth werd soms als problematisch gezien, vanwege verwachte privacyaspecten over het bijhouden van de locatie en vanwege de verwachte impact op de accuduur. Na de onboarding wordt er in beperkte mate op de links in het statusscherm geklikt. Ook is er wat verwarring over wat men zou moeten doen als de melding ‘de app is actief’ verschijnt. De werking van de app lijkt wisselend te worden begrepen: de meeste deelnemers weten na de onboarding met meer details uit te leggen aan welke voorwaarden qua duur en nabijheid voldaan moet worden voor een notificatie, maar gaan niet in op welk moment in de tijd de notificatie dan zal komen.
Het krijgen van een notificatie van een verhoogd besmettingsrisico levert veel onduidelijkheid op. Ten eerste zijn de meeste deelnemers kritisch over de timing van de notificatie (in het scenario is het 5 dagen geleden dat ze in de buurt zijn geweest van iemand die besmet is met Corona). Dit is volgens hen veel te laat en ze lijken te verwachten dat zo’n melding direct zou moeten komen. Dit zorgt voor minder vertrouwen in de app en zorgt er bij een aantal jongeren zelfs voor dat ze de notificatie gewoon zouden verwijderen. Ten tweede is het handelingsperspectief niet duidelijk. De meeste deelnemers, waaronder alle ouderen, zouden na het krijgen van de notificatie de app openen om te kijken wat ze zouden moeten doen. De meeste ouderen zouden op dat moment graag een Corona-test willen doen, maar in de app is het nu niet duidelijk of ze dat nu ook echt moet.
Het in de app doorgeven van een positieve besmetting tijdens het (geënsceneerde) telefoongesprek met een GGD-medewerker verliep wisselend. De jongeren voerden de stappen zonder problemen in korte tijd uit, alleen gaven sommige jongeren aan dat ze niet zouden opnemen als de GGD met een anoniem nummer belt. Sommige ouderen hadden meer problemen met het doorlopen van de stappen en ervoeren bijvoorbeeld het sluiten van het belscherm als ingewikkeld. Met de instructie van de GGD-medewerker konden de stappen wel worden uitgevoerd. Echter konden de deelnemers maar heel beperkt aangeven wat ze nu hadden gedaan, wat laat zien dat het begrip van waarom deze stappen doorlopen werden beperkt is. De meeste deelnemers gaven aan na een positieve besmetting van plan te zijn zich te houden aan de geadviseerde maatregelen zoals de 14 dagen quarantaine.
In het afsluitende interview, geeft het merendeel van de deelnemers aan de app gemakkelijk in gebruik te vinden en de uitleg die gegeven wordt over de werking duidelijk te vinden. Dit wordt bevestigd door de resultaten van de UEQ, waarop vrij positief wordt gescoord door de deelnemers. De meest genoemde reden om de app te gebruiken is om een bijdrage te leveren aan de algemene bescherming van de maatschappij en controle te krijgen over het Corona virus. Er worden echter ook meerdere redenen genoemd om de app niet te gebruiken, zoals twijfel over het nut van de app en over de privacy.
De eyetracking resultaten laten zien dat veel aandacht van deelnemers wordt getrokken door afbeeldingen, met name afbeeldingen van mensen. In de huidige versie van de app is dit niet altijd de plek waar de meest essentiële informatie te vinden is. Ook laten de resultaten zien dat er bepaalde trigger-woorden zijn die veel aandacht trekken. Met behulp van deze resultaten kan het design van de app verbeterd worden door de aandacht van de gebruikers te sturen naar de essentiële informatie.

Conclusie
De Corona notificatie-app is gebruikersvriendelijk. Ouderen, jongeren, hoger en lager opgeleid kunnen zelfstandig de app bedienen. Of de app effectief zal zijn is een belangrijk aandachtspunt omdat velen, jongeren en ouderen, niet begrijpen hoe de app werkt, en welke acties van hen gevraagd worden. Dit is erg belangrijk omdat daarmee het te behalen doel in gevaar komt: zolang mensen niet begrijpen hoe het werkt en het handelingsperspectief niet duidelijk is, zullen ze daar ook niet naar handelen.
Ondanks dat zowel ouderen als jongeren de informatie in de app als duidelijk beoordelen en de meeste deelnemers positiever zijn over de app na het gebruik ervan, blijven er misvattingen over hoe de app werkt, met name over de timing van de notificaties (de zogenaamde corona-radar misvatting die stelt dat een notificatie direct na een contact met een besmet persoon zou komen). Dit lijkt de twijfels van de deelnemers over het nut van de app te voeden.
Het ontbreken van een eenduidig handelingsperspectief bij het krijgen van een notificatie (wel of niet jezelf laten testen) en wanneer men positief getest is (wat doe je wanneer je codes uploadt), bemoeilijkt gebruikers in het nemen van de verantwoordelijkheid die ze wel lijken te willen nemen.

Aanbevelingen
In het design van de app moet explicieter aandacht komen voor de doelen en scope van de app en het taalgebruik moet nader getoetst worden. Naast meer duidelijkheid, kan de tekst ook instructiever en meer actiegericht worden gemaakt, op basis van een eenduidig handelingsperspectief. Ook de communicatie over de app is hierbij van essentieel belang. Doelgerichte en doelgroep gespecificeerde communicatie is nodig over hoe de app werkt, door middel van publiekscampagnes, social media, animaties en ambassadeurs/influencers. De communicatie dient gericht te zijn op doel van de app in relatie tot andere corona maatregelen (testen, quarantaine, social distance) en in relatie tot de samenwerking met de GGD en Huisartsen. Voor implementatie van de digitale contact opsporing is cruciaal dat de handelingsadviezen direct toegang geven tot het testen, onafhankelijk van symptomen of klachten, maar wel afhankelijk van de contactdatum met een geïnfecteerde; het testen snel verloopt (op de juiste dag, aangegeven in de notificatie), de test uitslag er binnen 24 uur is; de notificatie app goed afgestemd wordt met het plan van eisen voor andere te ontwikkelen apps (thuisrapportage app; GGD dagboek apps); de scope van de app t.o.v. andere digitale middelen helder is (dashboard, thuisarts.nl etc.); er internationaal afspraken zijn gemaakt over het gebruik van de app in diverse landen; dat de interactie tussen de GGD en de notificatie app effectief en efficiënt verloopt en dat de effecten van de app op gedrag, samenleving en contact opsporing grondig geëvalueerd worden.