it-mure.jp.net

定性的および定量的テストで使用するユーザー数には何が推奨されますか?

現在、イントラネット全体をゼロから再構築しています。これは、主に背後にある技術が古く、多くの情報を見つけるのが難しいことが証明されているためです。

それは要点ではありませんが、約1000ユーザーのユーザーベースでの定性的および定量的テストに使用するユーザーの最適な量はどのくらいでしょうか?

あなたが持っているユーザーの総数に基づいて、両方の一般的な経験則はありますか?それとも、定性の場合は5、定量の場合は10と表示されますか?

最善のアプローチは何でしょうか?

9
LiamGu

5人のユーザーでテストする必要がある理由 で、Jakob Nielsenは次のように提案しています。

最高の結果は、5人以下のユーザーをテストし、できるだけ多くの小規模なテストを実行することで得られます。

ただし、ユーザーの数に焦点を合わせるよりも、タスクの数と質に 焦点を合わせる方がよい場合があります

ユーザビリティテストタスクは非常に重要なので、使用する参加者の数よりもさらに重要であると主張する人もいます: テスト参加者の数ではなく、参加者が試行するタスクの数はユーザビリティテストで問題を見つけるための重要な要素

10
Antony Quinn

これについてのリファレンスはありませんが、これらの数値はユーザーベースのサイズに依存すると思います。

定性テストでは、「標準的な」ユーザーが必要です。したがって、3つの役割がある場合、ユーザーは少なくとも3人のユーザー(各役割に1つ)を必要とすることができます。実際には複数のものが必要ですが、これは絶対的な最小値です。

定量的テストでは、かなりの割合のユーザーベースが必要です。その数が何であるかはわかりませんが、ユーザーベースを10%とすると、100ユーザーが必要になります。ただし、これは現実的ではない可能性があります。これほど多くのユーザーを管理する方法がない場合や、ユーザーベースが小さい場合は非常に少ない数になる場合があります。

2
ChrisF

他に考慮すべきことは、ユーザビリティレポートの結果がどこに行くかです。あなたの下流の人々はどれだけの仕事を修正できますか?そして、それらの修正の影響は何ですか?

15人でテストを実行するとします。最初の3つの後、私は問題A B Cを見つけました。15年の終わりまでに、問題D E F Gも見つけました。

問題は、私の下流のチームにはAとBを修正する時間しかないということです。

さらに悪いことに、AとBを修正すると、システムが変更され、次に重要なユーザビリティの問題はC-Gでなくなる可能性があります。

したがって、私はあなたの製品開発者のサイクルタイム全体を見て、作業のキューを埋めるだけの十分なユーザビリティテストを実行します。それ以上のものは無駄になる可能性があります。

私の経験では、開発プロセス全体で参加者を少なく(1人でも)広げて、より多くのユーザビリティテストを行う方が、少数の大規模なテストよりもはるかに効果的です。

2
adrianh

定量的テストの場合、サンプルサイズが結果に与える影響についてより明確にすることができますが、必要なユーザー数は、検討している特定のテストまたは分析によって異なります(例として、タスクを正常に完了した参加者の割合を決定できます) 、平均作業時間の見積もり、2つのバージョンをSUMIやSUSなどのアンケートと比較する...)したがって、すべての状況に役立つ経験則を示すことは困難ですが、サンプルサイズを調べる手法はあります。特定の状況で必要です。

さて、この問題をすべて解決して、実際に信頼区間や統計的検出力などを推定したくない場合でも、覚えておくべき重要な結論が2つあります。

1つ目は、見積もりの​​精度、つまり特定のレベルの精度を達成するために必要なユーザー数は、しないのサイズに依存することですユーザーベース、少なくともこのユーザーベースがテストサンプルよりもはるかに大きい限り。 2つ目は、サンプルサイズが大きいほど、追加のテストユーザーから期待できる改善が小さくなることです。したがって、10から110への移行は大幅な改善であり、1000から1100への移行はそれほどではありません。

そのため、関心のある人口に数百万人が含まれている場合でも、世論調査では約1,000人の参加者のサンプルが使用されることがよくあります。実際、選挙前の世論調査のサンプルサイズは、通常、人口が500万人、8億人、2億人と非常に似ています。サンプルがランダムで人口がはるかに多い限り、有権者の総数の1%、0.1%、または0.00001%だけを質問しても問題ありません。

これらの結論はどちらも、パーセンテージ以外にも当てはまります。たとえば、満足度アンケートでの評価の比較や、タスクの完了にかかる時間の分析などです。さらに進んでいきたい場合、良い出発点の1つはJeff SauroのWebサイト http://www.measuringusability.com/ です。

1
Gala