L’une des questions les plus importantes lorsqu'on prépare un test utilisateur est de savoir de combien d’utilisateurs a-t-on besoin pour répondre à ce test. Plusieurs facteurs rentrent en jeu pour définir cette volumétrie.
La volumétrie d'un test
Comment choisir ?
La volumétrie d'utilisateurs doit être choisie en fonction de plusieurs caractéristiques notamment :
- la marge d'erreur acceptable sur les résultats
- l'enjeu du test et le niveau de précision attendu sur les résultats
- le temps disponible pour l'analyse
- le budget dédié au test
- le type de tests (quali ou quanti)
- ...
Nos recommandations
Testapic recommande la volumétrie suivante par type de test :
- Test vidéo / audio : 10 répondants par profil ou par device
- Exemple : 10 tests vidéo pour le silo "Desktop" et 10 tests vidéo pour le silo "Mobile"
- Test questionnaire : 100 répondants par profil ou par device
- Exemple : 100 répondants "prospects" et 100 répondants "clients"
- Test sondage : 300 répondants par profil ou par device
- Exemple : 300 répondants pour la maquette A et 300 répondant pour la maquette B
Ces volumétries sont conseillées en fonction du nombre de problèmes détectables et de la marge d'erreur, elles assurent de recueillir de la donnée de qualité et exploitable.
En savoir plus sur la marge d'erreur
Définition
La marge d'erreur nous permet de savoir dans quelle mesure les résultats que nous obtenons représente l'opinion de la population générale. En d'autres mots, cela. nous permet de nous poser la question "Est-ce que mes résultats sont vraiment fiables ? Est-ce que je peux m'appuyer sur mes résultats de façon sûre ?"
Plus votre marge d'erreur sera faible, plus vos résultats seront fiables.
Comment calculer la marge d'erreur pour un test quantitatif ?
On voit sur ce graphique de l'évolution théorique de la marge d’erreur (associée à un pourcentage (ici une valeur de 50%) en fonction du nombre de participants, pour un IC de 95%) que :
- 100 testeurs permettent des statistiques avec une marge d’erreur de 10% pour un intervalle de confiance de 95%
- Exemple : Si je vois sur mon graphique que 50% des testeurs ont indiqué avoir trouvé la navigation "très facile", je peux en réalité affirmer que entre 40% et 60% ont trouvé la navigation très facile car la marge d'erreur est de 10%.
- doubler le volume d'utilisateurs (200 vs 100) permet de diminuer la marge d'erreur de 10 à 7%
- 400 utilisateurs sont nécessaires pour atteindre une marge d'erreur de 5%
- La marge d'erreur reste de 3% avec 1000 utilisateurs (pour diviser par 3 la marge d'erreur au delà de 100 répondants , il faut multiplier par 10 le nombre de répondants)
Peut-on parler de marge d'erreur pour un test qualitatif ?
Dans le cas de tests qualitatifs, nous n'allons pas parler de marge d'erreur car les résultats ne se veulent pas statistiquement exploitables.
Pour autant, Nielsen et Sauro ont caractérisé le nombre de problèmes identifiés / détectables en fonction du nombre d'utilisateurs répondants sur des tests d'ordre qualitatif.
On voit ici que :
- 10 utilisateurs permettent de détecter 90% des problèmes survenant dans au moins 2 cas sur 10 (occurence de 20%) ou 95% des problèmes survenant dans au moins 3 cas sur 10 (occurence de 30%)
- 15 utilisateurs permettent de détecter 95% des problèmes survenant dans au moins 2 cas sur 10 (occurence de 20%)
Cela nous indique qu'il est préférable d'avoir une taille d'échantillon d'au moins 10 utilisateurs.