Análisis de cohortes

Qué es realmente una cohorte

Una cohorte es un grupo definido por algo que ya ocurrió y no puede cambiar. La semana en que alguien se registró, la campaña que lo trajo, el plan con el que empezó. Esa fijeza es justo el objetivo: un cliente puede cambiar de plan y de país, pero nadie cambia nunca de semana de registro. Como la agrupación es estable, puedes alinear el mes tres de quienes llegaron en enero contra el mes tres de quienes llegaron en junio sabiendo que comparas la misma etapa del mismo recorrido.

La técnica existe porque una media mezclada se mueve por dos razones completamente distintas — cambió el comportamiento, o cambió la mezcla — y un solo número no puede decirte cuál. Una empresa que crece rápido tiene siempre mayoría de clientes jóvenes, así que su retención mezclada sube aunque el producto no haya mejorado en nada. Una empresa que deja de crecer ve caer ese mismo número por la misma razón aritmética. Separar por cohortes es lo que distingue la historia de tu producto de la historia de tu ritmo de crecimiento.

Lo que las cohortes muestran y los totales esconden

Una vez separados los datos, cuatro preguntas pasan a tener respuesta.

• Si el producto mejoró. Compara la misma semana transcurrida entre cohortes de registro sucesivas. Es la única versión de "¿funcionó nuestro cambio?" que sobrevive a un ritmo de crecimiento variable, porque ambos lados de la comparación tienen la misma edad.
• Qué canal trae gente que se queda. Separa por fuente de adquisición además de por fecha. Dos canales con el mismo coste de adquisición de clientes producen con frecuencia curvas de mes tres completamente distintas, y el más barato suele ser el peor: una diferencia que una cifra de coste mezclada es estructuralmente incapaz de mostrarte.
• Si la retención tiene suelo. Una curva que se aplana significa que algún grupo encontró valor duradero, y la altura a la que se aplana es el negocio real. Una curva que sigue cayendo hacia cero no tiene suelo, así que el crecimiento está rellenando un cubo en vez de construirlo.
• Si una corrección sirvió de algo. Casi todos los cambios de onboarding y activación afectan solo a quienes llegan después, así que su efecto queda diluido hasta la invisibilidad en un número mezclado durante meses. En una vista por cohortes la mejora aparece de inmediato, en una única fila.

Las dos formas en que una tabla de cohortes miente

El primer fallo lo sufrimos nosotros mismos: una tabla de cohortes construida sobre una fuente de datos que caduca siempre hará que las cohortes antiguas parezcan peores de lo que fueron. Estábamos contando cuántos clientes habían mantenido de verdad una conversación con su agente, y la primera versión de ese número se quedaba corta por un factor de tres aproximadamente. No porque los clientes estuvieran callados, sino porque el recuento leía un almacén que se vacía periódicamente. Cuanto más atrás estaba la cohorte, más actividad suya se había borrado ya. Lo que parecía una curva de comportamiento era una curva de retención de datos disfrazada, y solo se volvió honesta al mover el recuento a un almacén que persiste. Antes de leer cualquier gráfico de cohortes, pregunta cuánto viven los registros subyacentes y si eso es más que la columna más antigua del gráfico.

El segundo fallo es el contrario: filas que nunca se van. Una auditoría de nuestros propios registros de suscripción encontró el recuento de cuentas de prueba inflado en torno a un tercio, porque nunca se habían eliminado filas de cuentas que ya estaban borradas. En un total acumulado eso es una inflación leve que quizá no notes nunca. En una tabla de cohortes es peor, porque esas filas forman un grupo que no abandona jamás y sostiene en silencio la retención de todos los meses en los que aparecen. Así que la segunda pregunta es qué pasa con una fila cuando un cliente se va. Si la respuesta es "nada", el gráfico está midiendo tu base de datos y no a tus clientes.

Cómo usarlo cuando los números son pequeños

El análisis de cohortes suele enseñarse como un mapa de calor con miles de usuarios por fila, que no es la situación de la mayoría de los fundadores. A pequeña escala ese mapa es sobre todo ruido, y leer porcentajes en él invita a conclusiones muy seguras sacadas de que cuatro personas cambiaron de idea. La versión que funciona pronto es deliberadamente tosca: elige un comportamiento que signifique que el producto hizo su trabajo, agrupa por semana de registro y mira solo las tres o cuatro primeras semanas. No estás leyendo un porcentaje: estás preguntando si las filas recientes se parecen a las antiguas.

Dos disciplinas hacen fiable la versión de números pequeños. Escribe la definición del comportamiento antes de mirar los datos, porque si no "activo" se redefine en silencio hasta que el gráfico resulta alentador: el mismo fallo que vuelve inútiles a casi todos los paneles de marketing, comentado en cómo medir si tu marketing funciona. Y guarda desde el principio la fuente de adquisición en cada fila, porque el día en que quieras comparar canales por retención será siempre un día después de la última fecha en que registraste de dónde venía cada uno.