Den här artikeln publicerades först i aprilutgåvan (# 226) av tidningen .net - världens bästsäljande tidning för webbdesigners och utvecklare.
.net: Vad är kvantitativ användbarhetstestning?
RM: I takt med att användbarhetsindustrin utvecklas finner vi att många chefer insisterar på kvantitativa svar på användbarhetsfrågor samt traditionell kvalitativ information. De vill se bevis på att användbarheten förbättras år för år, så att de kan visa för sina chefer att de pengar de lägger i UX är värda.
Det är möjligt att göra bra kvantitativa användbarhetsmätningar, men det kostar mycket mer än traditionell testning och du måste vara mycket försiktig med hur den utförs. Kvalitativ mätning är en vänlig metod genom att du kan göra misstag med den och ändå få bra resultat. Kvantitativ mätning är en mycket spröttare metod - det ger bara bra resultat om du är disciplinerad och följer metoderna noggrant.
.net: Vilka misstag gör användbarhetstestare?
RM: En stor är felaktig hantering av siffror. Till exempel har varje mätning en viss osäkerhet associerad med sig och som bör ingå i resultaten. Det är inte trivialt - osäkerheten är en del av sanningen, men många utövare inkluderar den inte.
Jag har genomfört ett antal så kallade Comparative Usability Evaluation-studier där vi tog ett stort antal team och fick dem att genomföra samma kvantitativa studie på en webbplats.Många av lagen använde rätt metodik och kom fram till liknande resultat, men några av lagen kom till resultat som var så långt ifrån varandra att deras osäkerhetsintervall inte överlappade varandra. Så några av studierna var helt enkelt felaktiga. Vi undersökte vad som gick fel i dessa studier och vi fann att problemen mest handlade om dålig rekrytering av människor för att testa webbplatsen och felaktig hantering av mätningar.
En viktig upptäckt i allt detta är att de lag vars studier i grunden var bristfälliga var omedvetna om det - och det var människor som fick betalt för att lära ut eller öva användbarhet. Det oroar mig lite, för dessa människor förstod inte sina egna begränsningar och jag såg ingen känsla av försiktighet när det gäller att marknadsföra deras resultat. Detta är i allmänhet ett problem i samhället; Jag ser sällan någon diskussion om användbarhetstestfel. Det är ett tecken på mognad i ett yrke när misstag ses som en tillgång som kan användas för att förbättra framtida resultat.
.net: Vilka faktorer bidrar till denna kultur?
RM: Vårt yrke är fortfarande ungt, och många ser vad de gör som en konst i motsats till en industriell process. Vi har gjort användbarhetstester rimligt systematiskt nu i cirka 25 år - det är inte en konst längre, det borde vara en industriell process vi kan mäta, standardisera och där vi kan certifiera människor.
Men många användarproffs tycker inte om den uppfattningen, för de värdesätter verkligen den frihet de känner att de har när de tillämpar designregler och gör intressanta små vändningar till användbarhetstester. Ibland är dessa anpassningar till det bättre, men i de flesta fall inte. Jag har skrivit en checklista som beskriver de väsentliga egenskaperna hos ett bra användbarhetstest, och jag tycker att något liknande borde vara en del av kontraktet när ett företag gör användbarhetstester.
.net: Så du tycker att det bör finnas ackreditering för användbarhetstester?
RM: Ja, mycket starkt, för det finns för många dåliga utövare där ute. Det pågår ansträngningar i Europa som leds av det tyska användbarhetsförbundet för att utveckla ackreditering på grundnivå, och vid varje tillfälle vill jag att det också ska göras på avancerad nivå.
.net: Vilka är de största UX-misstagen du fortfarande ser på webbplatser?
RM: Det första misstaget är felaktigt formulerade felmeddelanden - antingen händer ingenting när ett fel görs eller så är meddelandet ofattbart eftersom det är skrivet på tekniskt språk. Efter det misslyckades med att göra alternativen synliga för användaren.
.net: Vad är det allra första som bör övervägas när man utformar en webbplats eller löser ett problem?
RM: Det viktigaste är att få rätt på uppgifterna: ta reda på vad det är som användarna vill göra på en webbplats och göra den mycket synlig.
