Analyse de cohortes

Ce qu'est réellement une cohorte

Une cohorte est un groupe défini par quelque chose qui a déjà eu lieu et ne changera jamais. La semaine d'inscription, la campagne qui a amené la personne, l'offre par laquelle elle a commencé. Cette fixité est tout l'enjeu : un client peut changer d'offre et de pays, mais personne ne change de semaine d'inscription. Comme le regroupement est stable, vous pouvez aligner le troisième mois des arrivants de janvier sur le troisième mois des arrivants de juin en sachant que vous comparez la même étape du même parcours.

La technique existe parce qu'une moyenne mélangée bouge pour deux raisons entièrement différentes — le comportement a changé, ou la composition a changé — et un chiffre unique ne peut pas vous dire laquelle. Une entreprise en croissance rapide a toujours une majorité de clients récents : sa rétention mélangée dérive donc vers le haut même si rien ne s'est amélioré dans le produit. Une entreprise qui cesse de croître voit le même chiffre baisser pour la même raison arithmétique. Découper en cohortes est ce qui sépare l'histoire de votre produit de l'histoire de votre rythme de croissance.

Ce que les cohortes montrent et que les totaux cachent

Une fois les données découpées, quatre questions deviennent traitables alors qu'elles ne l'étaient pas.

• Si le produit s'est amélioré. Comparez la même semaine écoulée entre cohortes d'inscription successives. C'est la seule version de « notre changement a-t-il fonctionné » qui survit à un rythme de croissance variable, parce que les deux côtés de la comparaison ont le même âge.
• Quel canal amène des gens qui restent. Découpez par source d'acquisition en plus de la date. Deux canaux au coût d'acquisition client identique produisent régulièrement des courbes de troisième mois totalement différentes, et le moins cher est souvent le moins bon : une différence qu'un coût mélangé est structurellement incapable de montrer.
• Si la rétention a un plancher. Une courbe qui s'aplatit signifie qu'un groupe a trouvé une valeur durable, et la hauteur à laquelle elle s'aplatit est l'activité réelle. Une courbe qui continue de descendre vers zéro n'a pas de plancher : la croissance remplit alors un seau au lieu d'en construire un.
• Si un correctif a servi à quelque chose. La plupart des changements d'onboarding et d'activation ne touchent que ceux qui arrivent ensuite : leur effet est donc dilué jusqu'à l'invisibilité dans un chiffre mélangé pendant des mois. En vue par cohortes, l'amélioration apparaît immédiatement, sur une seule ligne.

Les deux façons dont un tableau de cohortes ment

Le premier défaut, nous sommes tombés dedans nous-mêmes : un tableau de cohortes bâti sur une source de données qui expire fera toujours paraître les anciennes cohortes pires qu'elles ne l'étaient. Nous comptions combien de clients avaient réellement tenu une conversation avec leur agent, et la première version de ce chiffre était basse d'un facteur trois environ. Non parce que les clients étaient silencieux, mais parce que le comptage lisait un stockage vidé périodiquement. Plus une cohorte était ancienne, plus son activité avait déjà été supprimée. Ce qui ressemblait à une courbe de comportement était une courbe de conservation des données déguisée, et elle n'est devenue honnête qu'une fois le comptage déplacé vers un stockage persistant. Avant de lire un graphique de cohortes, demandez combien de temps vivent les enregistrements sous-jacents, et si c'est plus long que la colonne la plus ancienne du graphique.

Le second défaut est l'inverse : des lignes qui ne partent jamais. Un audit de nos propres enregistrements d'abonnement a révélé un nombre de comptes d'essai surévalué d'environ un tiers, parce que les lignes de comptes déjà supprimés n'avaient jamais été retirées. Dans un total cumulé, c'est une inflation légère que l'on peut ne jamais remarquer. Dans un tableau de cohortes, c'est pire, car ces lignes forment un groupe qui n'abandonne jamais et soutient discrètement la rétention de chaque mois où elles figurent. La deuxième question est donc : que devient une ligne quand un client s'en va. Si la réponse est « rien », le graphique mesure votre base de données et non vos clients.

Comment s'en servir quand les chiffres sont petits

L'analyse de cohortes est presque toujours présentée sous forme de carte thermique avec des milliers d'utilisateurs par ligne, ce qui n'est pas la situation de la plupart des fondateurs. À petite échelle, cette carte est surtout du bruit, et y lire des pourcentages invite à des conclusions très assurées tirées du fait que quatre personnes ont changé d'avis. La version qui fonctionne tôt est volontairement grossière : choisissez un comportement qui signifie que le produit a fait son travail, regroupez par semaine d'inscription, et ne regardez que les trois ou quatre premières semaines. Vous ne lisez pas un pourcentage : vous demandez si les lignes récentes ressemblent aux anciennes.

Deux disciplines rendent fiable la version à petits chiffres. Écrivez la définition du comportement avant de regarder les données, sinon « actif » sera discrètement redéfini jusqu'à ce que le graphique paraisse encourageant — le même travers qui rend inutiles la plupart des tableaux de bord marketing, abordé dans comment mesurer si votre marketing fonctionne. Et gardez dès le départ la source d'acquisition attachée à chaque ligne, car le jour où vous voudrez comparer les canaux par rétention sera toujours le lendemain de la dernière date à laquelle vous avez noté d'où venaient les gens.