A/B-Testing

Wofür die Aufteilung tatsächlich kontrolliert

Der Impuls hinter einem A/B-Test lautet: herausfinden, welche Fassung besser ist. Genau das leistet die Aufteilung aber nicht. Eine neue Seite an einem Dienstag zu veröffentlichen und die folgenden zwei Wochen mit den zwei davor zu vergleichen, ist ebenfalls ein Vergleich — nur mit einer Veröffentlichung, einem Newsletter, einem Feiertag, der Ankündigung eines Wettbewerbers und einer Rangänderung mitten darin. Die zufällige Aufteilung ist dazu da, all das herauszunehmen. Beide Fassungen laufen im selben Zeitfenster, vor derselben Art von Verkehr, und das Einzige, was sich zwischen den Gruppen unterscheidet, ist das Eine, das Sie geändert haben.

Aus demselben Grund wiegt es schwerer, vor dem Start eine einzige Hauptkennzahl zu benennen, als das Werkzeug zu wählen. Wer erst hinterher entscheidet, welche Zahl er ansieht, findet in fast jedem Datensatz einen Sieger, denn bei genug Kennzahlen auf dem Tisch steigt immer eine. Die Wahl vorab macht aus der Übung einen Test statt einer Suche nach guten Nachrichten.

Die vier Dinge, die ein Test braucht, um überhaupt etwas sagen zu können

Fehlt einem Test auch nur eines davon, gibt er Ihnen keine schwächere Antwort. Er gibt Ihnen eine selbstbewusste, die zufällig falsch ist, und das ist schlimmer, weil Sie danach handeln werden.

• Eine Hauptkennzahl, vorab gewählt — etwa Anmeldungen, und nicht diejenige unter Anmeldungen, Klicks und Verweildauer, die sich am Ende bewegt hat.
• Genug Konversionen je Zweig — Hunderte, nicht Dutzende. Die Grenze sind nicht die Besuche, sondern die Konversionen, und eine Seite mit reichlich Verkehr und dünner Konversionsrate hat trotzdem zu wenig Daten.
• Eine vorher notierte Abbruchregel — ein Datum oder eine Zahl von Konversionen. Täglich hineinzuschauen und in dem Moment zu stoppen, in dem es gut aussieht, ist der Weg, auf dem Rauschen zum Befund befördert wird.
• Eine Änderung, die groß genug ist, die Zahl zu bewegen — je kleiner der gesuchte Effekt, desto größer die nötige Stichprobe, und eine geänderte Knopffarbe auf einer kleinen Website verlangt eine Auflösung, die der Verkehr nicht liefern kann.

Die Rechnung hinter dem zweiten Punkt beendet die meisten Pläne. Eine Verbesserung von ungefähr drei auf ungefähr vier Prozent zu erkennen — echt und durchaus lohnend — verlangt in der Größenordnung mehrere Tausend Besuche je Zweig, bevor das Ergebnis aufhört, ein Münzwurf zu sein. Halbieren Sie den gesuchten Effekt, vervierfacht sich die nötige Stichprobe ungefähr.

Was unser eigener Funnel dazu sagt

Wir nehmen unsere eigenen Zahlen, weil sie der Normalfall sind und nicht die Ausnahme. In einer der letzten Wochen erreichten 251 Personen das angemeldete Dashboard, 39 davon öffneten die Tarifseite, und eine einstellige Zahl ging weiter zur Kasse. Das sind die Größenordnungen, mit denen ein echtes Produkt in einer frühen Phase arbeitet, und sie sind nicht ungewöhnlich schlecht.

Teilen Sie diese Tarifseite in der Mitte, und jede Fassung bekommt vier oder fünf Personen pro Woche. Jeder Unterschied, den Sie sähen, wäre der Unterschied von ein oder zwei einzelnen Entscheidungen und nicht davon zu trennen, wer in dieser Woche zufällig vorbeikam. Auf eine Klärung zu warten heißt, Monate zu warten, und über diese Monate ändern sich Produkt, Preise und Verkehrsmischung unter dem Test hinweg — was Sie am Ende messen, ist also nicht das, was Sie zu messen begonnen hatten.

Also treffen wir solche Entscheidungen nach Urteil und sagen auch, dass wir das tun. Das Abzeichen "Für Sie empfohlen" in unserer Anmeldeauswahl war eine bewusste Entscheidung, allen dieselbe Option zu zeigen, und kein aufgeteilter Test — gerade weil eine Aufteilung bei unserer Menge eine Zahl geliefert hätte, der wir nicht hätten trauen können. Das zu sagen ist die ehrliche Fassung. Eine ungetestete Änderung als datengetrieben zu beschreiben ist die unehrliche, und sie ist häufig genug, dass man sie bei den meisten Behauptungen, die man liest, unterstellen darf.

Was Sie nutzen, bis der Verkehr da ist

Die Alternativen sind weniger befriedigend und in dieser Größe sehr viel nützlicher. Ändern Sie eines nach dem anderen und führen Sie ein datiertes Protokoll darüber, was sich geändert hat, damit ein Vorher-Nachher wenigstens eine Kante bekommt. Sehen Sie sich an, was Menschen wirklich tun — Sitzungsaufzeichnungen und Produktanalyse zeigen Ihnen ein aufgegebenes Formularfeld oder einen Knopf, der nie erreicht wird, und keines von beidem braucht statistische Trennschärfe, um geglaubt zu werden. Und sprechen Sie mit denen, die abgesprungen sind: Fünf Gespräche bringen mehr als ein zu schwacher Test auf derselben Seite, und sie sagen Ihnen das Warum und nicht nur das Welche.

Stecken Sie die Mühe außerdem eher in Defekte als in Vorlieben. Eine Kasse, die niemand findet, eine Seite, die zwanzig Sekunden lang nichts zeigt, ein Formular, das still verwirft, was hineingeschrieben wurde — das sind keine Fragen danach, welche Fassung Menschen lieber mögen, und sie zu testen ist ein Kategorienfehler. Reparieren Sie sie und kommen Sie zum Testen zurück, sobald die Menge es trägt. Die größere Schleife, in der das alles steckt, ist die Conversion-Rate-Optimierung; wenn der Verkehr dann da ist, sieht das quelloffene Werkzeug aus wie GrowthBook.