MethodenanleitungGrowth

A/B Testing

Die Anleitung zur Methode: Voraussetzungen und Materialien klären, den gesamten Ablauf verstehen und Ergebnisse, Stolperfallen sowie Abbruchkriterien nachschlagen.

KomplexitätHoch

Zeit1-4 Wochen

Teilnehmende1-6

FormatAsync

ReifegradCanonical

Planung vorbereiten

Vorbedingung

Was vorher fertig sein muss

Vorher abschließenKlare Abgrenzung

Eine gezielte, randomisierbare Änderung mit stabiler Messung und genug Traffic für den geplanten Horizont.

Ohne Grenze werden Daten, Perspektiven oder Abläufe vermischt.

Vorher abschließenZugang zu Belegen

Relevante Personen und Quellen können einbezogen werden.

Lücken bleiben sichtbar; fehlende Evidenz darf nicht erfunden werden.

Vorbereitung

Was vor Start vorliegen muss

Materialien

Gemeinsame Arbeitsfläche, zugängliche Quellen und Notiz für Entscheidungen.

Personen / Rollen

Experiment Owner · Engineering · Analytics · Reviewer

Vorabinfos

Frage, Zeitraum, Datenzugriff, beteiligte Rollen und bekannte Unsicherheiten vorab klären.

Zeitbedarf

Experimentbrief und Instrumentierung vorab; der Test läuft bis zum vorab festgelegten Horizont.

Setup

Lege vor Randomisierung Einheit, Allokation, primäre Metrik, Guardrails, MDE, Sample und Horizont fest. Wähle vorab genau eine Auswertungsart: klassische fixed-horizon Analyse erst am Endzeitpunkt oder ein dafür vorgesehenes sequenzielles Verfahren. Ändere die Regel nicht nach Blick auf Zwischenstände.

Kernfrage

Die eine Frage, die diese Methode beantwortet

Erzeugt B gegenüber A den vorab als relevant festgelegten Effekt, ohne Guardrails zu verletzen?

Ablauf

Phasen mit Ziel, Durchführung, Ergebnis und Stolperfalle

A/B Testing vergleicht Varianten unter kontrollierter Zuweisung und verbindet Effekt, Unsicherheit und Schutzmetriken mit einer vorab definierten Entscheidung.

Variantenvergleich und vorab festgelegte Entscheidung

Fiktives Lehrbeispiel

Vergleiche kontrolliert Varianten und triff eine vorab definierte Entscheidung anhand von Effekt und Schutzmetriken.

Primärmetrik

Vor Zuteilung Erfolgsmetrik und Nenner festlegen.

Buchungen je zufällig zugeteilter Person.

Design

Allokation, geplantes Sample, Kalenderhorizont und Interferenzkontrolle notieren.

50/50 zufällige Zuteilung; 20.000 Personen je Arm, mindestens 14 Tage; keine Checkout-Änderungen parallel.

Messung

Effekt und Unsicherheit sowie jede Guardrail eintragen.

Fiktiv: Buchung A 11,8 %, B 12,3 %, Differenz +0,5 Prozentpunkte; 95%-Intervall −0,2 bis +1,2. Fehlerquote A/B je 0,8 %.

Entscheidung

Vorab gewählte Entscheidungsregel anwenden und Unsicherheit festhalten.

Am vorab fixierten Horizont kein klarer Vorteil; Ergebnis unentschieden. Nicht wegen Zwischenständen verlängern.

Fiktive Auswertung am vorab festgelegten Horizont: 20.000 Personen je Arm, mindestens 14 Tage. A 11,8 %, B 12,3 %, Differenz +0,5 Prozentpunkte, 95%-Intervall −0,2 bis +1,2; Guardrail-Fehlerquote je 0,8 %. Kein klarer Vorteil; unentschieden.

Frequentist Sequential Testing · Statsig Docs

1
Entscheidung
Entscheidung vorab festlegen
Ziel
Ist die Auswertung vor Kenntnis der Ergebnisse festgelegt?
Voraussetzungen für diesen Schritt
- Hypothese, Baseline, MDE, Guardrails
Durchführung
- Schreibe Hypothese, primäre Metrik, Guardrails, MDE und Ship/hold/stop-Regel fest.
- Ist die Auswertung vor Kenntnis der Ergebnisse festgelegt?
Ergebnis
Vorab registriertes Testbriefing
Vorab registriertes Testbriefing
Qualitätscheck
Ist die Auswertung vor Kenntnis der Ergebnisse festgelegt?
Stolperfalle
Primärmetrik nach Start gewechselt Vor Randomisierung Metrik und Entscheidungsregel versionieren.
Zeitlicher Rahmen: Teil des vereinbarten Arbeitsblocks; Recherche ggf. separat.
2
Testdesign
Test valide entwerfen
Ziel
Bleiben Gruppen vergleichbar?
Voraussetzungen für diesen Schritt
- Randomisierungseinheit, Traffic und Interferenzkarte
Durchführung
- Lege Randomisierungseinheit, 50/50-Allokation, nötiges Sample und Mindestlaufzeit anhand Baseline und MDE fest.
- Bleiben Gruppen vergleichbar?
Ergebnis
Randomisiertes Testdesign mit Sample und Horizont
Randomisiertes Testdesign mit Sample und Horizont
Qualitätscheck
Bleiben Gruppen vergleichbar?
Stolperfalle
Vorzeitiges Stoppen bei günstigem Ausschlag Beim geplanten Horizont auswerten oder ein gültiges sequenzielles Verfahren vorab wählen.
Zeitlicher Rahmen: Teil des vereinbarten Arbeitsblocks; Recherche ggf. separat.
3
Start
Instrumentieren und starten
Ziel
Erfasst Exposure die tatsächliche Zuweisung?
Voraussetzungen für diesen Schritt
- Feature-Flag, Event-QA und Rollback
Durchführung
- Prüfe Zuweisung und Events; starte nur nach Tracking- und Rollback-Prüfung.
- Erfasst Exposure die tatsächliche Zuweisung?
Ergebnis
Geprüfter Rollout samt Exposure-Daten
Geprüfter Rollout samt Exposure-Daten
Qualitätscheck
Erfasst Exposure die tatsächliche Zuweisung?
Stolperfalle
Allokation ist nicht zufällig oder stabil Exposure-Zuordnung und Sample-Ratio-Mismatch prüfen; bei Defekt Test pausieren.
Zeitlicher Rahmen: Teil des vereinbarten Arbeitsblocks; Recherche ggf. separat.
4
Auswertung
Am Horizont entscheiden
Ziel
Wurde ein fixer Horizont ohne Peeking genutzt?
Voraussetzungen für diesen Schritt
- Vorab-Sample, Horizont, Auswertungsregel
Durchführung
- Werte am festgelegten Horizont oder mit der vorab gewählten sequenziellen Regel aus; lies Effektintervall und Guardrails.
- Wurde ein fixer Horizont ohne Peeking genutzt?
Ergebnis
Entscheidung mit Effektintervall und Guardrail-Prüfung
Entscheidung mit Effektintervall und Guardrail-Prüfung
Qualitätscheck
Wurde ein fixer Horizont ohne Peeking genutzt?
Stolperfalle
Guardrail verschlechtert sich trotz Primärgewinn Vordefinierte Schutzregel hat Vorrang; Rollout nicht allein aus Signifikanz ableiten.
Zeitlicher Rahmen: Teil des vereinbarten Arbeitsblocks; Recherche ggf. separat.

Artefakt

Was am Ende rauskommt

Skizze: so sieht das Artefakt aus

A/B Testing · Experiment-PipelineHypothese, Traffic Split, Varianten, Messung und Entscheidung sichtbar verbinden

Form

Versioniertes Ergebnis mit Frage, Evidenz, offenen Punkten, nächster Maßnahme, Verantwortung und Reviewtermin.

Versionierung / Ownership

Datum, Geltungsbereich, Quellen und Änderungen festhalten. Frühere Beobachtungen erhalten.

Tool-Alternativen

Whiteboard oder Papier
Gemeinsame Tabelle
Projektablage mit Versionshistorie

ab-testing-working-template.md

Bereite A/B Testing mit klarer Frage, Rollen und Quellen vor.

A/B Testing: Arbeitsvorlage

Fragestellung

Noch zu klären

Gewünschtes Ergebnis

Noch zu klären

Rahmen

Vollständigen Ablauf planen Zeit: Nach Umfang und verfügbaren Belegen festlegen

Diese Vorlage während der Arbeit auf Papier oder in einem eigenen Dokument ausfüllen.

Vorbereitung für diesen Umfang

Methodische Grundausstattung

Materialien: Gemeinsame Arbeitsfläche, zugängliche Quellen und Notiz für Entscheidungen.
Rollen: Experiment Owner · Engineering · Analytics · Reviewer
Vorab-Infos: Frage, Zeitraum, Datenzugriff, beteiligte Rollen und bekannte Unsicherheiten vorab klären.
Gesamter Zeitbedarf: Experimentbrief und Instrumentierung vorab; der Test läuft bis zum vorab festgelegten Horizont.
Setup: Lege vor Randomisierung Einheit, Allokation, primäre Metrik, Guardrails, MDE, Sample und Horizont fest. Wähle vorab genau eine Auswertungsart: klassische fixed-horizon Analyse erst am Endzeitpunkt oder ein dafür vorgesehenes sequenzielles Verfahren. Ändere die Regel nicht nach Blick auf Zwischenstände.

Für die Arbeitsschritte bereitstellen

Entscheidung: Entscheidung vorab festlegen

Hypothese, Baseline, MDE, Guardrails

Testdesign: Test valide entwerfen

Randomisierungseinheit, Traffic und Interferenzkarte

Start: Instrumentieren und starten

Feature-Flag, Event-QA und Rollback

Auswertung: Am Horizont entscheiden

Vorab-Sample, Horizont, Auswertungsregel

Variantenvergleich und vorab festgelegte Entscheidung

Primärmetrik

Vor Zuteilung Erfolgsmetrik und Nenner festlegen.

...

Design

Allokation, geplantes Sample, Kalenderhorizont und Interferenzkontrolle notieren.

...

Messung

Effekt und Unsicherheit sowie jede Guardrail eintragen.

...

Entscheidung

Vorab gewählte Entscheidungsregel anwenden und Unsicherheit festhalten.

...

Leere Vorlage: beginne mit einer abgegrenzten Frage. Trage nur erhobene Fakten ein, markiere Annahmen und halte offene Fragen sowie Quellen fest.

Frequentist Sequential Testing · Statsig Docs

Entscheidung: Entscheidung vorab festlegen

Erwartetes Artefakt: Vorab registriertes Testbriefing

Vorab registriertes Testbriefing

Eintrag:

...

Ist die Auswertung vor Kenntnis der Ergebnisse festgelegt?

Testdesign: Test valide entwerfen

Erwartetes Artefakt: Randomisiertes Testdesign mit Sample und Horizont

Randomisiertes Testdesign mit Sample und Horizont

Eintrag:

...

Bleiben Gruppen vergleichbar?

Start: Instrumentieren und starten

Erwartetes Artefakt: Geprüfter Rollout samt Exposure-Daten

Geprüfter Rollout samt Exposure-Daten

Eintrag:

...

Erfasst Exposure die tatsächliche Zuweisung?

Auswertung: Am Horizont entscheiden

Erwartetes Artefakt: Entscheidung mit Effektintervall und Guardrail-Prüfung

Entscheidung mit Effektintervall und Guardrail-Prüfung

Eintrag:

...

Wurde ein fixer Horizont ohne Peeking genutzt?

Offene Fragen und nächste Schritte

...

Methodenanleitung: https://methodatlas.meierhoff-systems.de/de/methods/ab-testing/run-sheet

Beispielausgabe

Konkret gefülltes Szenario, fiktives Beispiel

Fiktives Beispiel zur Orientierung. Die genannten Mengen und Zeiten beschreiben diesen Fall und sind keine allgemeine Vorgabe.

ab-testing-beispiel.md

Konkret gefülltes Szenario, fiktives Beispiel

Stolperfallen

Symptome erkennen, gegensteuern

Kurzüberblick, vollständiger Text steht in der jeweiligen Phase im Ablauf

Entscheidung vorab festlegenPrimärmetrik nach Start gewechseltIn der Phase ansehen
Test valide entwerfenVorzeitiges Stoppen bei günstigem AusschlagIn der Phase ansehen
Instrumentieren und startenAllokation ist nicht zufällig oder stabilIn der Phase ansehen
Am Horizont entscheidenGuardrail verschlechtert sich trotz PrimärgewinnIn der Phase ansehen