Análise de coorte

O que é de fato uma coorte

Uma coorte é um grupo definido por algo que já aconteceu e não pode mudar. A semana em que alguém se cadastrou, a campanha que trouxe essa pessoa, o plano com que começou. Essa fixidez é justamente o ponto: um cliente pode mudar de plano e de país, mas ninguém muda de semana de cadastro. Como o agrupamento é estável, dá para alinhar o mês três de quem chegou em janeiro contra o mês três de quem chegou em junho sabendo que você compara o mesmo estágio da mesma jornada.

A técnica existe porque uma média misturada se mexe por dois motivos completamente diferentes — o comportamento mudou, ou a composição mudou — e um número só não diz qual dos dois. Uma empresa que cresce rápido tem sempre maioria de clientes recentes, então a retenção misturada sobe mesmo que nada no produto tenha melhorado. Uma empresa que para de crescer vê o mesmo número cair pela mesma razão aritmética. Separar por coorte é o que distingue a história do seu produto da história do seu ritmo de crescimento.

O que as coortes mostram e os totais escondem

Depois de separar os dados, quatro perguntas passam a ter resposta.

• Se o produto melhorou. Compare a mesma semana decorrida entre coortes de cadastro sucessivas. É a única versão de "a nossa mudança funcionou?" que sobrevive a um ritmo de crescimento variável, porque os dois lados da comparação têm a mesma idade.
• Qual canal traz gente que fica. Separe por fonte de aquisição além da data. Dois canais com custo de aquisição de clientes idêntico produzem com frequência curvas de mês três completamente diferentes, e o mais barato costuma ser o pior: uma diferença que um custo misturado é estruturalmente incapaz de mostrar.
• Se a retenção tem piso. Uma curva que estabiliza significa que algum grupo encontrou valor duradouro, e a altura em que ela estabiliza é o negócio real. Uma curva que segue caindo rumo a zero não tem piso, então o crescimento está reabastecendo um balde em vez de construir um.
• Se um conserto funcionou. Quase toda mudança de onboarding e ativação afeta apenas quem chega depois, então o efeito fica diluído até a invisibilidade num número misturado por meses. Numa visão por coorte a melhora aparece na hora, em exatamente uma linha.

As duas formas de uma tabela de coortes mentir

A primeira falha foi uma em que nós mesmos caímos: uma tabela de coortes construída sobre uma fonte de dados que expira sempre vai fazer as coortes antigas parecerem piores do que foram. Estávamos contando quantos clientes de fato tinham conversado com o agente deles, e a primeira versão desse número ficava baixa por um fator de cerca de três. Não porque os clientes estivessem calados, e sim porque a contagem lia um armazenamento que é limpo periodicamente. Quanto mais atrás estava a coorte, mais atividade dela já tinha sido apagada. O que parecia uma curva de comportamento era uma curva de retenção de dados fantasiada, e só ficou honesta depois que a contagem passou para um armazenamento que persiste. Antes de ler qualquer gráfico de coorte, pergunte quanto tempo os registros por baixo vivem, e se isso é mais do que a coluna mais antiga do gráfico.

A segunda falha é o oposto: linhas que nunca vão embora. Uma auditoria dos nossos próprios registros de assinatura encontrou a contagem de contas de teste inflada em cerca de um terço, porque linhas de contas já excluídas nunca tinham sido removidas. Num total acumulado isso é uma inflação leve que talvez você nunca perceba. Numa tabela de coortes é pior, porque essas linhas formam um grupo que nunca cancela e sustenta em silêncio a retenção de todos os meses em que aparecem. Então a segunda pergunta é o que acontece com uma linha quando o cliente vai embora. Se a resposta for "nada", o gráfico está medindo o seu banco de dados, não os seus clientes.

Como usar quando os números são pequenos

A análise de coorte quase sempre é demonstrada como um mapa de calor com milhares de usuários por linha, que não é a situação da maioria dos fundadores. Em escala pequena esse mapa é sobretudo ruído, e ler porcentagens nele convida a conclusões muito seguras tiradas de quatro pessoas mudando de ideia. A versão que funciona cedo é deliberadamente grosseira: escolha um comportamento que signifique que o produto cumpriu o papel dele, agrupe por semana de cadastro e olhe só as três ou quatro primeiras semanas. Você não está lendo uma porcentagem: está perguntando se as linhas recentes parecem diferentes das antigas.

Duas disciplinas tornam a versão de números pequenos confiável. Escreva a definição do comportamento antes de olhar os dados, porque senão "ativo" vai sendo redefinido em silêncio até o gráfico ficar animador — a mesma falha que torna inúteis quase todos os painéis de marketing, discutida em como medir se o seu marketing está funcionando. E mantenha a fonte de aquisição presa a cada linha desde o começo, porque o dia em que você quiser comparar canais por retenção será sempre um dia depois da última data em que você registrou de onde alguém veio.