Kohortenanalyse

Was eine Kohorte tatsächlich ist

Eine Kohorte ist eine Gruppe, definiert über etwas, das bereits passiert ist und sich nie mehr ändern kann. Die Woche der Anmeldung, die Kampagne, die jemanden brachte, der Tarif, mit dem er startete. Diese Unveränderlichkeit ist der ganze Punkt: Eine Kundin kann Tarif und Land wechseln, aber niemand wechselt je die Anmeldewoche. Weil die Gruppierung stabil ist, kannst du den dritten Monat der Januar-Ankömmlinge gegen den dritten Monat der Juni-Ankömmlinge legen und weißt, dass du dieselbe Etappe derselben Reise vergleichst.

Die Technik existiert, weil sich ein vermischter Durchschnitt aus zwei völlig verschiedenen Gründen bewegt — das Verhalten hat sich geändert, oder die Zusammensetzung hat sich geändert — und eine einzelne Zahl kann dir nicht sagen, welcher davon. Ein schnell wachsendes Unternehmen hat immer eine Mehrheit junger Kunden, seine vermischte Bindung driftet also nach oben, selbst wenn sich am Produkt nichts verbessert hat. Ein Unternehmen, das aufhört zu wachsen, sieht dieselbe Zahl aus demselben rechnerischen Grund fallen. Die Aufteilung in Kohorten trennt die Geschichte deines Produkts von der Geschichte deiner Wachstumsrate.

Was Kohorten zeigen und Gesamtzahlen verbergen

Sobald die Daten aufgeteilt sind, werden vier Fragen beantwortbar, die es vorher nicht waren.

• Ob das Produkt besser geworden ist. Vergleiche dieselbe verstrichene Woche über aufeinanderfolgende Anmeldekohorten hinweg. Das ist die einzige Version von "hat unsere Änderung gewirkt", die eine schwankende Wachstumsrate überlebt, weil beide Seiten des Vergleichs gleich alt sind.
• Welcher Kanal Leute bringt, die bleiben. Teile zusätzlich zum Datum nach Akquisitionsquelle auf. Zwei Kanäle mit identischen Kundenakquisitionskosten erzeugen regelmäßig völlig verschiedene Kurven im dritten Monat, und der billigere ist oft der schlechtere: ein Unterschied, den eine vermischte Kostenzahl strukturell nicht zeigen kann.
• Ob die Bindung einen Boden hat. Eine Kurve, die abflacht, bedeutet, dass eine Gruppe dauerhaften Nutzen gefunden hat, und die Höhe, auf der sie abflacht, ist das eigentliche Geschäft. Eine Kurve, die weiter Richtung null fällt, hat keinen Boden: Wachstum füllt dann einen Eimer nach, statt einen zu bauen.
• Ob eine Korrektur überhaupt gewirkt hat. Die meisten Änderungen an Onboarding und Aktivierung erreichen nur die, die danach ankommen, ihre Wirkung wird in einer vermischten Zahl also monatelang bis zur Unsichtbarkeit verdünnt. In der Kohortenansicht erscheint die Verbesserung sofort, in genau einer Zeile.

Die zwei Arten, wie eine Kohortentabelle lügt

Den ersten Fehler haben wir selbst gemacht: Eine Kohortentabelle auf einer Datenquelle, die verfällt, lässt ältere Kohorten immer schlechter aussehen, als sie waren. Wir zählten, wie viele Kunden tatsächlich ein Gespräch mit ihrem Agenten geführt hatten, und die erste Fassung dieser Zahl lag um ungefähr den Faktor drei zu niedrig. Nicht weil die Kunden still gewesen wären, sondern weil die Zählung einen Speicher las, der regelmäßig geleert wird. Je weiter eine Kohorte zurücklag, desto mehr ihrer Aktivität war bereits gelöscht. Was aussah wie eine Verhaltenskurve, war eine Aufbewahrungskurve in deren Kleidern, und ehrlich wurde sie erst, als die Zählung auf einen dauerhaften Speicher umzog. Frag vor jedem Kohortendiagramm, wie lange die zugrunde liegenden Datensätze leben und ob das länger ist als die älteste Spalte des Diagramms.

Der zweite Fehler ist das Gegenteil: Zeilen, die nie verschwinden. Eine Prüfung unserer eigenen Abo-Datensätze ergab, dass die Zahl der Testkonten um etwa ein Drittel zu hoch auswies, weil Zeilen zu längst gelöschten Konten nie entfernt worden waren. In einer Gesamtsumme ist das eine milde Aufblähung, die man womöglich nie bemerkt. In einer Kohortentabelle ist es schlimmer, denn diese Zeilen bilden eine Gruppe, die niemals abwandert, und stützen still die Bindung jedes Monats, in dem sie sitzen. Die zweite Frage lautet also, was mit einer Zeile passiert, wenn ein Kunde geht. Ist die Antwort "nichts", misst das Diagramm deine Datenbank und nicht deine Kunden.

Wie man sie bei kleinen Zahlen nutzt

Kohortenanalyse wird meist als Heatmap mit Tausenden Nutzern pro Zeile vorgeführt, was nicht die Lage der meisten Gründerinnen und Gründer ist. Im Kleinen ist diese Heatmap überwiegend Rauschen, und Prozentwerte daraus abzulesen lädt zu sehr selbstsicheren Schlüssen daraus ein, dass vier Personen ihre Meinung geändert haben. Die Version, die früh funktioniert, ist bewusst grob: Wähle ein Verhalten, das bedeutet, dass das Produkt seine Aufgabe erfüllt hat, gruppiere nach Anmeldewoche und sieh dir nur die ersten drei oder vier Wochen an. Du liest keinen Prozentwert, du fragst, ob die jüngeren Zeilen anders aussehen als die älteren.

Zwei Disziplinen machen die Kleine-Zahlen-Version vertrauenswürdig. Schreib die Definition des Verhaltens auf, bevor du in die Daten schaust, sonst wird "aktiv" still umdefiniert, bis das Diagramm ermutigend aussieht — derselbe Fehler, der die meisten Marketing-Dashboards nutzlos macht, behandelt in wie du misst, ob dein Marketing wirkt. Und häng von Anfang an jeder Zeile die Akquisitionsquelle an, denn der Tag, an dem du Kanäle nach Bindung vergleichen willst, ist immer der Tag nach dem letzten Datum, an dem du festgehalten hast, woher jemand kam.