Growth Research-Methode

A/B Testing

A/B Testing vergleicht Varianten unter kontrollierter Zuweisung und verbindet Effekt, Unsicherheit und Guardrails mit einer vorab definierten Entscheidung.

A/B Testing vergleicht Varianten unter kontrollierter Zuweisung und verbindet Effekt, Unsicherheit und Schutzmetriken mit einer vorab definierten Entscheidung.

Kernfrage

Erzeugt B gegenüber A den vorab als relevant festgelegten Effekt, ohne Guardrails zu verletzen?

Planung vorbereiten Methodenanleitung

Vergleich starten

Feedback gebenHilft dir diese Methode?

Teilnehmende: 1-6
Zeit: 1-4 Wochen

Die Phasen können iterativ durchlaufen werden; ihre Reihenfolge unterstützt den Einstieg, ersetzt aber kein fachliches Urteil.

Arbeitsfläche für A/B Testing: Frage, Beobachtungen und nächste Entscheidung sind sichtbar.

Entscheidung
Entscheidung vorab festlegen
Schreibe Hypothese, primäre Metrik, Guardrails, MDE und Ship/hold/stop-Regel fest.
Testdesign
Test valide entwerfen
Lege Randomisierungseinheit, 50/50-Allokation, nötiges Sample und Mindestlaufzeit anhand Baseline und MDE fest.
Start
Instrumentieren und starten
Prüfe Zuweisung und Events; starte nur nach Tracking- und Rollback-Prüfung.
Auswertung
Am Horizont entscheiden
Werte am festgelegten Horizont oder mit der vorab gewählten sequenziellen Regel aus; lies Effektintervall und Guardrails.

Prüfe Ergebnis und offene Annahmen beim nächsten passenden Termin. Halte Änderungen, Verantwortung und neue Evidenz fest.

Geeignet, wenn

Geeignet: Eine gezielte, randomisierbare Änderung mit stabiler Messung und genug Traffic für den geplanten Horizont.

Ideal für

Conversion Optimization
Messaging Tests
Feature Validation

Nicht gut für

Sehr kleiner Traffic
Unklare Hypothesen

Ergebnisse

Arbeitsbild
Das Artefakt enthält Hypothese, primäre Metrik, Guardrails, MDE und Ship/hold/stop-Regel.
Prüfbare Evidenz
Die Evidenz umfasst geprüfte Zuweisung und Events sowie eine Tracking- und Rollback-Prüfung.
Nächster Schritt
Die Auswertung enthält Effekt und Unsicherheit zum geplanten Zeitpunkt, berücksichtigt Guardrails und dokumentiert die Entscheidung.

Variantenvergleich und vorab festgelegte Entscheidung

Fiktives Lehrbeispiel

Vergleiche kontrolliert Varianten und triff eine vorab definierte Entscheidung anhand von Effekt und Schutzmetriken.

Primärmetrik

Vor Zuteilung Erfolgsmetrik und Nenner festlegen.

Buchungen je zufällig zugeteilter Person.

Design

Allokation, geplantes Sample, Kalenderhorizont und Interferenzkontrolle notieren.

50/50 zufällige Zuteilung; 20.000 Personen je Arm, mindestens 14 Tage; keine Checkout-Änderungen parallel.

Messung

Effekt und Unsicherheit sowie jede Guardrail eintragen.

Fiktiv: Buchung A 11,8 %, B 12,3 %, Differenz +0,5 Prozentpunkte; 95%-Intervall −0,2 bis +1,2. Fehlerquote A/B je 0,8 %.

Entscheidung

Vorab gewählte Entscheidungsregel anwenden und Unsicherheit festhalten.

Am vorab fixierten Horizont kein klarer Vorteil; Ergebnis unentschieden. Nicht wegen Zwischenständen verlängern.

Fiktive Auswertung am vorab festgelegten Horizont: 20.000 Personen je Arm, mindestens 14 Tage. A 11,8 %, B 12,3 %, Differenz +0,5 Prozentpunkte, 95%-Intervall −0,2 bis +1,2; Guardrail-Fehlerquote je 0,8 %. Kein klarer Vorteil; unentschieden.

Frequentist Sequential Testing · Statsig Docs

Erster Schritt

Beginne mit einer abgegrenzten Frage, kläre Zugang und Beteiligte und sichere vorhandene Belege. Vergleiche kontrolliert Varianten und triff eine vorab definierte Entscheidung anhand von Effekt und Schutzmetriken.

Zur Methodenanleitung

Davor sinnvoll

Growth

Funnel Analysis

Liefert die Hypothese und Baseline für die zu testende Änderung.

Wie geht es weiter?

Growth

Growth Experiment

Skaliert eine bestätigte Wirkung zu einem gezielten Wachstumsexperiment.

Growth

North Star Metric

Prüft die Wirkung der entschiedenen Änderung auf die Leitmetrik.

Vertiefung

Zweck

Wenn zwei Varianten gegeneinander stehen, entscheiden Diskussionen schnell nach Geschmack statt nach Wirkung. A/B Testing prüft Verhalten unter kontrollierten Bedingungen und trennt echte Verbesserung von Zufall oder Erwartungseffekt.

Funktionsweise

Eine Veränderung wird isoliert gegen eine Referenzvariante getestet, während ein klares Erfolgsmaß parallel läuft. Erst die beobachtete Differenz im Verhalten entscheidet, ob der Unterschied robust genug ist, um Produkt oder Kommunikation umzubauen.

Im Detail

A/B Testing sichert Produkt- oder Kommunikationsentscheidungen gegen beobachtetes Verhalten ab. Qualität entsteht durch klare Hypothese, saubere Randomisierung, ausreichende Laufzeit und vorher festgelegte Entscheidungsschwelle. Als reine Zahlenübung bleibt der Test flach; tragfähig wird er, wenn Ergebnis, Gegenmetriken und Lernwert gemeinsam interpretiert werden.

Durchführung

Vor dem Start müssen Hypothese, Primärmetrik, Guardrails und Abbruchregeln schriftlich feststehen, sonst kippt die Auswertung in Wunschdenken. Der entscheidende Punkt ist erreicht, wenn die Variante sauber isoliert bleibt und niemand unterwegs Metriken passend nachschärft. Schließe mit einer Produktentscheidung und den Lernpunkten, auch wenn der Effekt ausbleibt.

Die Methodenanleitung führt mit 4 Phasen, Zeitrahmen, 4 Stolperfallen und klaren Abbruchkriterien durch die Umsetzung.

Methodenanleitung öffnen

Deine Einschätzung

Hilft dir diese Methode für dein Vorhaben?

Mit deinem Feedback hilfst du, den Methodatlas weiterzuentwickeln.

Quellen und Themen

Themen

Experimente Growth Analytics Validierung

Quellen

Frequentist Sequential Testing · Statsig Docsdocs.statsig.comGeprüfte Methodenreferenz; stützt die fachliche Abgrenzung und Arbeitsschritte für A/B Testing. Beispiele und redaktionelle Anleitung sind eigenständig und ausdrücklich fiktiv.

In Playbooks

Growth Experiment Loop aufsetzenVon Funnel-Problem zu Hypothese, Experiment, Messung und nächster Wachstumsentscheidung.

Artefakt-Vorlagen

A/B Testing: ArbeitsvorlageBereite A/B Testing mit klarer Frage, Rollen und Quellen vor.

markdown

ab-testing-working-template.md

Bereite A/B Testing mit klarer Frage, Rollen und Quellen vor.

A/B Testing: Arbeitsvorlage

Fragestellung

Noch zu klären

Gewünschtes Ergebnis

Noch zu klären

Rahmen

Vollständigen Ablauf planen Zeit: Nach Umfang und verfügbaren Belegen festlegen

Diese Vorlage während der Arbeit auf Papier oder in einem eigenen Dokument ausfüllen.

Vorbereitung für diesen Umfang

Methodische Grundausstattung

Materialien: Gemeinsame Arbeitsfläche, zugängliche Quellen und Notiz für Entscheidungen.
Rollen: Experiment Owner · Engineering · Analytics · Reviewer
Vorab-Infos: Frage, Zeitraum, Datenzugriff, beteiligte Rollen und bekannte Unsicherheiten vorab klären.
Gesamter Zeitbedarf: Experimentbrief und Instrumentierung vorab; der Test läuft bis zum vorab festgelegten Horizont.
Setup: Lege vor Randomisierung Einheit, Allokation, primäre Metrik, Guardrails, MDE, Sample und Horizont fest. Wähle vorab genau eine Auswertungsart: klassische fixed-horizon Analyse erst am Endzeitpunkt oder ein dafür vorgesehenes sequenzielles Verfahren. Ändere die Regel nicht nach Blick auf Zwischenstände.