為什麼網站項目只需測試5個用戶

人們總是認為,用戶測試是一個複雜且代價昂貴的事情。一個網站設計項目需要一個龐大的預算和長長的時間表。其實,可用性測試並非如大多數人認為的是浪費資源的事情。在你可承受的測試成本範圍內,使用不超過5個用戶,即可達到很好的測試效果。最初的研究過程中,Tom Landauer 和我得出了一個可用性測試方面的,關於測試人員的數量的公式:

假設一個可用性測試的測試人員數量為n,N為所有可用性測試發現的問題總數,L是單個測試人員的問題發現率。

N(1-(1-L)n)

我們發現,大多數項目的平均的問題發現率為31%。當 L=31%時,可以得到如下的圖形:

user testing diminshin returns curve

當用戶為零時,發現的問題數目是零,即“零用戶零發現”。我們可以看到,第一個用戶幾乎發現的三分之一的設計的可用性的問題,和零發現截然不同。當我們看第二個用戶的測試情況時,可以發現,有一部分問題是和第一個user重合的。人們之間的行為或發現有一定的差異,第二個user可以發現一些不同於第一個user的問題,有區別於第一個用戶的新發現,但是問題數量不及第一個用戶的最初發現。第三個用戶做了很多前兩者重複的事情,有些甚至重複2次。另外,當然,第三個用戶本身異能發現少量的新問題,顯然數量遠遠不及前兩個用戶。

現在,加入更多的測試人員(user),你會發現一個現象,隨著人數的增加,重複的事情一再出現,發現的新問題發現率開始下降。顯然不再需要讓更多的人來重複發現重複的問題,自然回回去重新設計,以解決發現問題。

到了第5個user,你就是在浪費時間,去做重複的事情,並且幾乎再沒有先的發現。

迭代設計

上圖中的曲線很清除地標明,至少需要15個用戶去發現所有的設計中的可用性問題。但是,為什麼我更傾向於推薦用更少的測試人員呢?一個主要的原因是合理分配可用性測試的預算。讓我們看看,當你招聘15個客戶代表來對你的設計進行測試時,就一位著你得花費5個用戶的3倍的費用!

當我們去做用戶的可用性測試時,最終的目標是為了解決或者提高實際的設計,而不是僅僅得到一份書面的報告。當5個用戶的首次測試發現了85%的可用性問題時,你已經可以在下一個desagn中修復這些問題。

如果想發現更多的問題,當然需要再次測試。即使我說重新設計可以修復第一次測試時發現的問題,事實是你可能認為新的設計可以客服已有的問題。但是,在沒有人能設計出更完美的用戶界面之前,無法保證新的設計可以修復事實存在的問題。第二次測試可以回歸已有的問題, 確認是否修復。同時,一個新的設計,意味著還需要一次新的用戶測試。

5個用戶的第二次測試,可以發現第一次測試時遺留的15%的問題。 (仍舊會有2%的問題遺留要等到第三次測試來發現)。

最終,第二次測試的深度可以設計到網站的設計架構,獲取到我們所需的一些信息,如體系架構、任務流程等是否符合客戶需求。這些問題常常在隱藏在一些表面的可用性問題之後,而為人們所忽略。

所以,第二次的測試作為第一次測試的質量保障,並且可以發現更深入的問題。第二次測試會為系統的重新設計提供一份新的問題清單,但數量顯然會少於第一次測試。但是,本次測試並不能完全補充第一次測試,還需要第三次的測試來進行查漏補缺。

5個用戶三次的最終測試效果要遠高於15個用戶測試一次的效果。

為什麼不建議單用戶的測試?單個人的行為總會有一些風險,人總會有一些意外的,不確定的行為。

你可能會認為15個用戶做一輪測試,比5個用戶做3輪要好。因為曲線表明,第一個用戶的發現率明顯高於後續的用戶,但是,為什麼我們要堅持多輪測試?兩個原因:第一,通過觀察3個人就可以看到用戶行為的多樣性,可以洞察到那些行為是獨特的那些是可以一概而論的; 第二,用戶測試的成本效益分析表明,3-5個測試用戶的最佳比例,依賴於測試的風格。初始的運行成本和測試計劃相關,多個用戶對於降低最初的成本效果更好。

什麼時候增加更多的測試用戶

當你的網站客戶群覆蓋到幾個不同高度的用戶群時,你需要增加更多的測試用戶。上面公式的適用於網站的用戶群接近或者差異很小時。舉個例子,當你的網站客戶群是定位於父母和孩子時,你就需要充分考慮到兩個不同群裡的使用行為。系統的相同之處是對於採購代理商的銷售人員之間的連接。

甚至當用戶群體差異性完全不同時,在兩類人之間也可發現很多相似之處。畢竟,所有的用戶都是人。所有的可用性問題反應的都是人的行為與網站之間的互動和影響。

在測試不同的用戶群時,你不需要每個用戶群中都有很多測試人員(user),有以下的一個測試人員數目就足夠了:1、如果測試兩個用戶群,則每類群需要3-4個用戶;2、如果測試3個或更多的用戶群,則每類有3個測試用戶就可以了(至少3個users就可以確保你覆蓋到某一個用戶群中的不同的行為)

參考:Nielsen, Jakob, and Landauer, Thomas K.: “A mathematical model of the finding of usability problems,” Proceedings of ACM INTERCHI'93 Conference (Amsterdam, The Netherlands, 24- 29 April 1993), pp. 206-213.

本文來自:http://article.yeeyan.org/view/3323/2018

英文原文:http://www.useit.com/alertbox/20000319.html

 

特別注意:本站所有轉載文章言論不代表本站觀點,本站所提供的攝影照片,插畫,設計作品,如需使用,請與原作者聯繫,文章轉自alibuybuy

Comments are closed.