Teste A/B
Um teste A/B é colocar duas versões da mesma página, e-mail ou fluxo no ar ao mesmo tempo, dividir os visitantes entre elas ao acaso e ficar com a que vencer de forma mensurável. A aleatoriedade e a simultaneidade são o método: são o que impede confundir uma diferença de público, de dia ou de época com uma diferença de design. O requisito não declarado é volume — um teste só responde alguma coisa depois que gente suficiente converteu dentro de cada braço, e é por isso que a maioria dos projetos em fase inicial não consegue rodar um com honestidade.
O que a divisão está de fato controlando
O instinto por trás de um teste A/B é descobrir qual versão é melhor, mas não é bem isso que a divisão faz. Publicar uma página nova numa terça e comparar as duas semanas seguintes com as duas anteriores também é uma comparação — só que com um lançamento, uma newsletter, um feriado, o anúncio de um concorrente e uma mudança de posicionamento misturados dentro. A divisão aleatória existe para tirar tudo isso do caminho. As duas versões rodam na mesma janela, diante do mesmo tipo de tráfego, e a única coisa diferente entre os dois grupos é a única coisa que você mudou.
É também por isso que nomear uma única métrica principal antes de começar importa mais do que a ferramenta. Se você decidir depois qual número olhar, vai encontrar uma vencedora em quase qualquer conjunto de dados, porque com métricas suficientes na mesa sempre há uma subindo. Escolher de antemão é o que transforma o exercício num teste em vez de numa busca por boas notícias.
As quatro coisas de que um teste precisa para poder dizer algo
Um teste a que falte qualquer uma dessas coisas não te dá uma resposta mais fraca. Dá uma resposta confiante que por acaso está errada, o que é pior, porque você vai agir com base nela.
- Uma métrica principal, escolhida de antemão — cadastros, digamos, e não aquela que, entre cadastros, cliques e tempo na página, acabou se mexendo.
- Conversões suficientes em cada braço — centenas, não dezenas. A restrição não são os visitantes, são as conversões, então uma página com bastante tráfego e uma taxa de conversão magra continua sem dados.
- Uma regra de parada escrita antes — uma data ou um número de conversões. Olhar todo dia e parar assim que fica bonito é como o ruído é promovido a descoberta.
- Uma mudança grande o bastante para mexer no número — quanto menor o efeito que você persegue, maior a amostra necessária, e mudar a cor de um botão num site pequeno é pedir uma resolução que o tráfego não tem como dar.
A aritmética por trás do segundo ponto é a que encerra a maioria dos planos. Detectar uma melhora de aproximadamente três por cento para aproximadamente quatro — real e bem valiosa — exige algo da ordem de vários milhares de visitantes por braço antes que o resultado deixe de ser cara ou coroa. Reduza pela metade o tamanho do efeito que procura e a amostra necessária mais ou menos quadruplica.
O que o nosso próprio funil diz sobre isso
Vamos usar nossos próprios números, porque eles são o caso comum e não a exceção. Numa semana recente, 251 pessoas chegaram ao painel com a sessão aberta, 39 delas abriram a página de planos e um número de um dígito só seguiu até o pagamento. Esses são os volumes com que um produto real em fase inicial trabalha, e não são especialmente ruins.
Divida essa página de planos ao meio e cada versão recebe quatro ou cinco pessoas por semana. Qualquer diferença que você visse seria uma diferença de uma ou duas decisões individuais, indistinguível de quem por acaso passou por lá naquela semana. Esperar que aquilo se resolva significa esperar meses, e ao longo desses meses o produto, os preços e a mistura de tráfego mudam por baixo do teste — então o que você acaba medindo não é o que se propôs a medir.
Então essas decisões nós tomamos por julgamento, e dizemos que é isso que estamos fazendo. O selo "Recomendado para você" no nosso seletor de cadastro foi uma decisão deliberada de mostrar uma única opção para todo mundo em vez de um teste dividido, justamente porque no nosso volume uma divisão teria produzido um número em que não daria para confiar. Dizer isso é a versão honesta. Descrever uma mudança não testada como orientada por dados é a desonesta, e é frequente o bastante para valer supor isso da maioria das afirmações que você lê.
O que usar enquanto o tráfego não chega
As alternativas são menos satisfatórias e muito mais úteis nesse tamanho. Mude uma coisa de cada vez e mantenha um registro datado do que mudou, para que um antes e depois pelo menos tenha uma borda. Observe o que as pessoas de fato fazem — gravações de sessão e análise de produto vão te mostrar um campo de formulário sendo abandonado ou um botão nunca alcançado, e nenhuma das duas precisa de poder estatístico para ser levada a sério. E converse com quem desistiu no caminho: cinco conversas rendem mais que um teste sem poder na mesma página, e ainda dizem por quê, não só qual.
Gaste o esforço em defeitos antes de gastá-lo em preferências, também. Um pagamento que ninguém encontra, uma página que não mostra nada por vinte segundos, um formulário que descarta em silêncio o que foi digitado — isso não são perguntas sobre qual versão as pessoas preferem, e testá-las é um erro de categoria. Conserte, e volte aos testes quando o volume aguentar. O laço mais amplo em que tudo isso se encaixa é a otimização da taxa de conversão; quando você tiver o tráfego, a ferramenta de código aberto se parece com o GrowthBook.
FAQ
- O que é um teste A/B?
- Um teste A/B é mostrar duas versões da mesma página, e-mail ou fluxo ao mesmo tempo, atribuir cada visitante a uma delas ao acaso e ficar com a que tiver desempenho mensuravelmente melhor numa métrica escolhida antes de começar. Rodar as duas em paralelo e atribuir ao acaso é o ponto central: remove as diferenças de momento e de público que tornam pouco confiável uma simples comparação de antes e depois.
- De quanto tráfego preciso para rodar um teste A/B?
- Pense em conversões por braço, não em visitantes. Como regra prática você quer centenas de conversões em cada versão antes que o resultado signifique muita coisa, o que numa página de cadastro típica implica vários milhares de visitantes por braço para detectar uma melhora de cerca de um ponto percentual. Efeitos menores exigem muito mais: reduzir pela metade a diferença que você persegue mais ou menos quadruplica a amostra.
- Quanto tempo um teste A/B deve rodar?
- Defina o ponto de parada antes de começar, como uma data ou um número de conversões, e cumpra. Deixe rodar semanas inteiras e não pedaços de semana, porque o tráfego de dia útil e o de fim de semana se comportam de forma diferente. O erro a evitar é olhar todo dia e parar assim que uma versão fica na frente: vantagens iniciais se invertem o tempo todo, e um teste interrompido no seu momento mais lisonjeiro relata com toda a confiabilidade um efeito que não existe.
- Dá para testar uma página com algumas centenas de visitantes por mês?
- Não de forma útil. Algumas centenas de visitantes vão produzir um punhado de conversões, divididas entre dois braços, e qualquer distância entre elas cai bem dentro do acaso comum. Você acabaria esperando muitos meses, ao longo dos quais o resto do negócio muda e invalida a comparação, ou parando cedo e agindo em cima de ruído. Nesse tamanho, mudanças sequenciais com um registro datado, gravações de sessão e conversas com quem abandonou são os instrumentos que realmente funcionam.
- Teste A/B é a mesma coisa que otimização da taxa de conversão?
- Não. A otimização da taxa de conversão é o laço inteiro: achar onde as pessoas caem, formular uma hipótese sobre o porquê, mudar algo e verificar se ajudou. O teste A/B é uma forma de fazer esse último passo, e só está disponível quando o volume permite. Sites pequenos continuam percorrendo o laço; apenas validam com um antes e depois cuidadoso e com evidência qualitativa em vez de uma divisão.
An AI growth team that runs this for you
AgentCeres is a managed AI marketing team — you approve what ships. 14-day free trial, from $39/month.