web-gelistirme-sc.com

Kalitatif ve kantitatif testlerde kullanılacak kullanıcı sayısına ne tavsiye edilir?

Şu anda tüm intranetimizi sıfırdan yeniden inşa ediyorum, çünkü çoğunlukla arkasındaki teknoloji eskimiş ve birçok bilginin bulunmasının zor olduğu kanıtlandı.

Bu noktaya rağmen, merak ediyorum ne yaklaşık 1000 kullanıcılı bir kullanıcı tabanı ile kalitatif ve kantitatif test için kullanılacak optimum kullanıcı miktarı ne olurdu?

Toplam kullanıcı sayısına göre her ikisi için de genel bir kural var mı? ya da sadece nitel için 5, nicel için 10 mu?

En iyi yaklaşım ne olurdu?

9
LiamGu

Neden Sadece 5 Kullanıcıyla Test Yapmanız Gerekiyor Jakob Nielsen şunları önermektedir:

En iyi sonuçlar, 5'ten fazla kullanıcıyı test etmekten ve karşılayabildiğiniz kadar küçük test yapmaktan gelir.

Ancak, kullanıcı sayısına odaklanmak yerine, görevlerin sayısına ve kalitesine odaklanmak daha iyi olabilir :

Kullanılabilirlik testi görevleri o kadar kritiktir ki, bazı insanlar kullandığınız katılımcı sayısından bile daha önemli olduklarını iddia eder: Görünüşe göre katılımcıların test katılımcılarının sayısı değil, kaç görevi denediği kullanılabilirlik testinde problemleri bulmak için kritik faktör .

10
Antony Quinn

Bunun için bir referans yok, ama bu sayıların kullanıcı tabanının boyutuna bağlı olacağını düşünürdüm.

Kalitatif testler için "tipik" kullanıcılara sahip olmanız gerekir. Dolayısıyla, 3 rolünüz varsa kullanıcılarınız en az 3 kullanıcıya ihtiyaç duyar - her rol için bir tane. Gerçekte birden fazla şey istersiniz, ama bu sizin mutlak minimum seviyenizdir.

Kantitatif testler için kullanıcı tabanınızın önemli bir kısmına ihtiyacınız vardır. Bu sayının ne olacağını bilmiyorum, ancak kullanıcı tabanınızı ve% 10'unuzu bir rakam olarak alırsanız 100 kullanıcıya ihtiyacınız olacak. Ancak, bu gerçekçi olmayabilir - bu kadar çok kullanıcıyı yönetmenin bir yolu olmayabilir veya küçük bir kullanıcı tabanınız varsa çok küçük bir sayı üretecektir.

2
ChrisF

Dikkate alınması gereken başka bir şey, kullanılabilirlik raporunuzun sonucunun nereye gittiğidir. Sizden aşağı akıştaki insanlar ne kadar iş düzeltebilir - ve bu düzeltmelerin etkisi ne olacak?

On beş kişiyle bir test yaptığımı söyle. İlk üçten sonra A B C problemlerini tespit ettim. Onbeşin sonunda da D E F G problemlerini tespit ettim.

Sorun şu ki, benden sonraki takımın A ve B'yi düzeltmek için sadece zamanı var.

Daha da kötüsü, A ve B'yi düzelttikten sonra sistem değişti ve bir sonraki en ciddi kullanılabilirlik sorunları C-G olmayabilir.

Bu yüzden ürün geliştirme halkınızın tüm döngü süresine bakacağım ve sadece iş kuyruğunu doldurmak için yeterli kullanılabilirlik testi yapacağım. Bundan daha fazlası büyük olasılıkla israftır.

Deneyimime göre, geliştirme süreci boyunca daha az katılımcıyla (sadece bir tane) daha fazla kullanılabilirlik testi yapmanın az sayıda büyük testten çok daha etkili olduğu deneyimlerime dayanıyor.

2
adrianh

Nicel test için, örneklem büyüklüğünün sonuçlarınız üzerindeki etkisi hakkında daha açık olmak mümkündür, ancak ihtiyacınız olan kullanıcı sayısı, düşündüğünüz belirli testlere veya analizlere bağlıdır (örnekler, bir görevi başarıyla tamamlayan katılımcıların oranını belirleyebilir) , ortalama görev süresini tahmin ederek, iki versiyonu SUMI veya SUS gibi bir anketle karşılaştırarak…) Bu nedenle, tüm durumlar için yararlı olacak bir başparmak kuralı vermek zordur, ancak örnek boyutunu bulmak için teknikler vardır belirli bir durumda ihtiyacınız var.

Şimdi, tüm bu sorunların üstesinden gelmek ve aslında güven aralıkları ve istatistiksel güç gibi şeyleri tahmin etmek istemiyorsanız, hatırlamanız gereken iki önemli sonuç var.

Birincisi, tahminin kesinliğinin ve dolayısıyla belirli bir hassasiyet seviyesine ulaşmak için ihtiyaç duyduğunuz kullanıcı sayısının boyutuna bağlı olmamasıdır. kullanıcı tabanınız, en azından bu kullanıcı tabanı test örneğinizden çok daha büyük olduğu sürece. İkincisi, numune boyutunuz ne kadar büyük olursa, ek test kullanıcılarından bekleyebileceğiniz iyileştirme o kadar küçük olur. Böylece, 10'dan 110'a gitmek, 1000'den 1100'e kadar çok büyük bir gelişme değil.

Bu nedenle, kamuoyu yoklamalarında, ilgilenen nüfus birkaç milyon insan olsa bile, yaklaşık 1000 katılımcıdan oluşan örnekler vardır. Aslında, seçim öncesi anket için örneklem büyüklüğü 5, 80 veya 200 milyon nüfusa sahip ülkelerde tipik olarak çok benzer olacaktır. Numuneniz rastgele ve nüfus çok daha büyük olduğu sürece, toplam seçmen sayısının sadece% 1,% 0.1 veya% 0.00001'ini sormanız önemli değildir.

Bu sonuçların her ikisi de yüzdelerden başka şeyler için hala geçerlidir: örneğin bir memnuniyet anketindeki derecelendirmeler veya bir görevi tamamlamak için gereken sürenin analizleri. Daha ileri gitmek istiyorsanız, iyi bir başlangıç ​​noktası Jeff Sauro'nun web sitesidir http://www.measuringusability.com/

1
Gala