Planos de Testes

• Propósito

O plano de teste tem como objetivo sistematizar testes com o usuário do MAIS, para que a equipe de desenvolvimento identifique o que deve ser aprimorado para alcançar um sistema final com boa usabilidade e relevância.

• Objetivos

1. Perceber a reação inicial dos usuários com o MAIS;
2. Medir a eficiência e eficácia dos usuários com tarefas propostas pelo monitor;
3. Medir a relevância e satisfação dos usuários em relação a cada tarefa e o sistema como um todo;

• Perfil do usuário

Os usuários são separados em dois perfis: A - Pessoas com experiência em uso de tecnologia e/ou redes sociais; B - Leigos;

• Método

1. Buscar voluntários de testes apresentando rapidamente o projeto MAIS.
2. Fazer uma entrevista inicial para saber o perfil do usuário e suas espectativas com a idéia apresentada do MAIS.
3. Mostrar o protótipo e pedir para o testador voluntário realizar tarefas propostas pelo monitor.
4. Filmar a ação do usuário, pontuando e medindo os tempos em que ele conseguiu cumprir as tarefas.
5. Interromper tarefa corrente do usuário caso ele fique muito tempo preso nela.
6. No final do teste, fazer uma entrevista com o usuário, avaliando sua satisfação com o MAIS e pedindo sugestões.
7. Repetir o teste para 5 usuários de cada perfil.
8. Avaliar resultados obtidos e concluir mudanças para o próximo protótipo.

• Tarefas

1. Encontrar melhor restaurante nas proximidades (100 metros de distancia), sugerido por usuários do MAIS.
2. Para 3 grupos de contatos (Amigos, Motoristas de Caminhão e Motoristas de Ônibus), sugerir o restaurante B com nota "7,0" e descreve-lo como "limpo e barato".
3. Incluir o contato José no grupo de "Motoristas de Caminhão"
4. Encontrar um aplicativo fictício C que mostra a velocidade limite da rodovia sugerido pelo grupo Motoristas de Caminhão.
5. Para Todos contatos, sugerir um aplicativo D de envio de SMS com nota "9,0", indicando o link e descrição: "http://www.smsperfeito.com.br Muito fácil e pratico"
6. Mudar o e-mail do perfil para aaa@a.com
7. Criar um evento na agenda: "Consulta com o Dr. Oftalmologista", para terça-feira que vem, às 14h45. Linkar com o endereço do consultório.

[Obs.: Bahia e eu estávamos discutindo se seria parte do nosso aplicativo marcar um evento na agenda. Eu acho que sim, pois nosso aplicativo seria "integrado" à agenda, permitindo que sejam compartilhados os eventos. De todo jeito, acho que o usuário deve saber criar um evento. Pra completar, eu coloquei a opção de linkar o endereço do consultório, assim integra uma funcionalidade do nosso aplicativo. O que vcs acham?]

• Equipamentos e ambiente

Os testes devem ser realizados em um ambiente calmo, preferencialmente fechado, evitando assim aglomeração de outras pessoas ao redor do usuário, deixando-o à vontade e confortável para realizar as tarefas propostas. No primeiro protótipo o teste será feito em papel. Nos próximos o equipamento a ser usado será um computador ou notebook rodando o software emulador do Android, com o aplicativo MAIS instalado, pronto para a realização das tarefas. Caso se consiga rodar o aplicativo MAIS em um outro dispositivo móvel, como um celular ou handheld, estes também poderão ser utilizados.

• Ação do monitor

O monitor deve agir de forma educada e neutra durante o teste. Em hipótese nenhuma, ele deve direcionar as ações dos usuários durante o teste além do previsto no item 'Tarefas'. O monitor não pode julgar publicamente as ações do usuário ou sua avaliação pessoal do produto testado.

• Medidas de avaliação

Uma boa medida de avaliação para os testes é dividir cada tarefa em itens e atribuir pesos à eles, e pontuar a atuação do usuário conforme a realização da tarefa vai sendo completada. Cada tarefa também tem pesos diferentes, conforme o grau de relevância. Também deve-se atribuir um tempo máximo, que estimado em cerca de 3 a 4 vezes o tempo médio que os desenvolvedores levaram para completar a tarefa, ao final do qual será pedido que o usuário identifique o principal problema que causou a demora em realizar a tarefa.

Os pesos das tarefas são divididos em três conjuntos: pouco relevantes, meio relevantes e bem relevantes. Os pesos da avaliação atribuídos a cada conjunto será, respectivamente, dois, três e cinco. Os itens observados nas tarefas são: tempo de conclusão da tarefa, se a tarefa foi cumprida no tempo máximo estimado, número de erros que o usuário comete ao tentar cumprir a tarefa. Os pesos para os ítens são, respectivamente, dois, cinco e três.

• Apresentação dos dados

Os dados devem ser tabelados e então analisados pelos desenvolvedores, identificando os principais problemas relatados pelos usuários e propondo formas de corrigí-los. Espera-se 80% de aproveitamento para o grupo um e 50% para o grupo dois. Um pequeno texto pode ser produzido e anexado ao presente documento relatando a experiência, os dados numéricos (pontuação de cada usuário e médias) e observações pertinentes, anexados ao final.