Vorher abschließenBegrenzter Gegenstand
Scope und Zweck von Counter Metrics sind als konkrete Frage benannt.
Ohne Scope wird Counter-Metric-Vertrag beliebig.
MethodenanleitungProduct Strategy
Counter Metrics
Die Anleitung zur Methode: Voraussetzungen und Materialien klären, den gesamten Ablauf verstehen und Ergebnisse, Stolperfallen sowie Abbruchkriterien nachschlagen.
KomplexitätNiedrig
Zeit30-60 min
Teilnehmende2-6
FormatWorkshop + Async
ReifegradEstablished
01
Vorbedingung
Was vorher fertig sein muss
Vorher abschließenZugang zu relevanten Perspektiven
Primärmetrik und Entscheidung, potenzielle Nebenwirkungen, Segment- und Systemdaten und entscheidungsfähige Fachpersonen sind verfügbar.
Ohne diese Perspektiven bleiben zentrale Aussagen in Counter-Metric-Vertrag unbelegt.
02
Vorbereitung
Was vor Start vorliegen muss
Materialien
Primärmetrik und Entscheidung, potenzielle Nebenwirkungen, Segment- und Systemdaten, gemeinsame Arbeitsfläche, Quellenlinks und Entscheidungslog.
Personen / Rollen
Product · Analytics · betroffene Fachrollen · Risk/Compliance
Vorabinfos
Primärmetrik und Entscheidung, potenzielle Nebenwirkungen, Segment- und Systemdaten vorab zusammentragen und offene Annahmen markieren.
Zeitbedarf
45–60 Minuten initial; je Experiment prüfen
Setup
eine Primärmetrik mit expliziten Gegenhypothesen, Guardrails und Stoppschwellen sichtbar vorbereiten und Bewertungsbegriffe vor Beginn kalibrieren.
03
Kernfrage
Die eine Frage, die diese Methode beantwortet
Welche relevante Verschlechterung könnte unsere Zielmetrik verdecken, und welche Gegenmetrik stoppt oder relativiert die Entscheidung?
04
Ablauf
Phasen mit Ziel, Durchführung, Ergebnis und Stolperfalle
Counter Metrics formulieren, was trotz Verbesserung der Primärmetrik nicht schlechter werden darf. Sie entstehen aus Gegenhypothesen, Systemgrenzen und betroffenen Gruppen und brauchen ebenso klare Formeln und Entscheidungsschwellen.
Counter-Metric-Vertrag
Fiktives Arbeitsbeispiel
eine Primärmetrik mit expliziten Gegenhypothesen, Guardrails und Stoppschwellen als präzise Arbeitsstruktur mit fiktivem Beispiel.
| Eintrag | Primärmetrik | Gegenhypothese | Gegenmetrik | Guardrail | Entscheidung |
|---|---|---|---|---|---|
| Counter-Metric-VertragDurchgearbeitetes Beispiel | Abgeschlossene Reviews / gestartete Reviews; Ziel +10 %. | Schnelle oberflächliche Abschlüsse steigen. | Reviews <5 min / abgeschlossene Reviews pro Woche. | Stop bei +2 pp; neue Teams separat. | Rollout nur bei Primärziel ohne Guardrailverletzung. |
1. Primärmetrik
- Counter-Metric-Vertrag
- Abgeschlossene Reviews / gestartete Reviews; Ziel +10 %.
2. Gegenhypothese
- Counter-Metric-Vertrag
- Schnelle oberflächliche Abschlüsse steigen.
3. Gegenmetrik
- Counter-Metric-Vertrag
- Reviews <5 min / abgeschlossene Reviews pro Woche.
4. Guardrail
- Counter-Metric-Vertrag
- Stop bei +2 pp; neue Teams separat.
5. Entscheidung
- Counter-Metric-Vertrag
- Rollout nur bei Primärziel ohne Guardrailverletzung.
Das Beispiel zeigt die Fachlogik von Counter Metrics; eigene Vorlagen bleiben leer.
Microsoft Experimentation Platform: Overall Evaluation Criterion
- 1
Risiken
Gegenhypothesen
Ziel
Schadenshypothesen so erarbeiten, dass die Kernfrage „Welche relevante Verschlechterung könnte unsere Zielmetrik verdecken, und welche Gegenmetrik stoppt oder relativiert die Entscheidung?“ belastbar weiter beantwortet werden kann.
Voraussetzungen für diesen Schritt
- Primärmetrik und Entscheidung
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Durchführung
- Für jede Zielmetrik plausible Fehlanreize, Verlagerungen und betroffene Gruppen formulieren.
- Quelle, Begründung und offene Unsicherheit direkt in Schadenshypothesen festhalten.
Ergebnis
Schadenshypothesen
Schadenshypothesen · Quelle · Unsicherheit · nächster Entscheid
Qualitätscheck
Ist der Wirkpfad von Optimierung zu Schaden nachvollziehbar?
Stolperfalle
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt. Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Zeitlicher Rahmen: 10–20 Minuten
- 2
Gegenmetriken
Gegenmetriken
Ziel
Metrikverträge so erarbeiten, dass die Kernfrage „Welche relevante Verschlechterung könnte unsere Zielmetrik verdecken, und welche Gegenmetrik stoppt oder relativiert die Entscheidung?“ belastbar weiter beantwortet werden kann.
Voraussetzungen für diesen Schritt
- Schadenshypothesen
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Durchführung
- Je Schadenshypothese eine messbare Gegenmetrik mit Population, Formel und Fenster definieren.
- Quelle, Begründung und offene Unsicherheit direkt in Metrikverträge festhalten.
Ergebnis
Metrikverträge
Metrikverträge · Quelle · Unsicherheit · nächster Entscheid
Qualitätscheck
Misst die Gegenmetrik den Schaden oder nur ein bequemes Proxy?
Stolperfalle
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt. Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Zeitlicher Rahmen: 10–20 Minuten
- 3
Schwellen
Schwellen
Ziel
Guardrail-Regel so erarbeiten, dass die Kernfrage „Welche relevante Verschlechterung könnte unsere Zielmetrik verdecken, und welche Gegenmetrik stoppt oder relativiert die Entscheidung?“ belastbar weiter beantwortet werden kann.
Voraussetzungen für diesen Schritt
- Metrikverträge
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Durchführung
- Baseline, Stoppschwelle, Segmentregeln und Entscheidungslogik vor der Optimierung festlegen.
- Quelle, Begründung und offene Unsicherheit direkt in Guardrail-Regel festhalten.
Ergebnis
Guardrail-Regel
Guardrail-Regel · Quelle · Unsicherheit · nächster Entscheid
Qualitätscheck
Ist klar, wann ein positives Hauptergebnis trotzdem abgelehnt wird?
Stolperfalle
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt. Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Zeitlicher Rahmen: 10–20 Minuten
- 4
Überprüfen
Überprüfen
Ziel
Ausgewogene Entscheidung so erarbeiten, dass die Kernfrage „Welche relevante Verschlechterung könnte unsere Zielmetrik verdecken, und welche Gegenmetrik stoppt oder relativiert die Entscheidung?“ belastbar weiter beantwortet werden kann.
Voraussetzungen für diesen Schritt
- Guardrail-Regel
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Durchführung
- Primär- und Gegenmetriken gemeinsam auswerten und unbekannte Nebenwirkungen nachtragen.
- Quelle, Begründung und offene Unsicherheit direkt in Ausgewogene Entscheidung festhalten.
Ergebnis
Ausgewogene Entscheidung
Ausgewogene Entscheidung · Quelle · Unsicherheit · nächster Entscheid
Qualitätscheck
Sind Segment- und Langzeiteffekte berücksichtigt?
Stolperfalle
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt. Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Zeitlicher Rahmen: 10–20 Minuten
05
Artefakt
Was am Ende rauskommt
Skizze: so sieht das Artefakt aus
Form
Versioniertes Counter-Metric-Vertrag mit Datum, Quellen, Ownern und nächstem Review.
Versionierung / Ownership
Datum, Quelle, Annahmenstand und Entscheidung je Fassung von Counter-Metric-Vertrag erhalten.
Tool-Alternativen
- Counter-Metric-Vertrag als Board oder Dokument
- Quellen- und Evidenzregister
- Entscheidungs- und Maßnahmenlog
counter-metrics-working-template.md
Plane Counter Metrics entlang der fachlichen Schritte und der konkreten Entscheidungsfrage.
Counter Metrics: Arbeitsvorlage
Fragestellung
Noch zu klären
Gewünschtes Ergebnis
Noch zu klären
Rahmen
Praxis einrichten und überprüfen Zeit: 45–60 Minuten initial; je Experiment prüfen
Diese Vorlage während der Arbeit auf Papier oder in einem eigenen Dokument ausfüllen.
Vorbereitung für diesen Umfang
Methodische Grundausstattung
- Materialien: Primärmetrik und Entscheidung, potenzielle Nebenwirkungen, Segment- und Systemdaten, gemeinsame Arbeitsfläche, Quellenlinks und Entscheidungslog.
- Rollen: Product · Analytics · betroffene Fachrollen · Risk/Compliance
- Vorab-Infos: Primärmetrik und Entscheidung, potenzielle Nebenwirkungen, Segment- und Systemdaten vorab zusammentragen und offene Annahmen markieren.
- Gesamter Zeitbedarf: 45–60 Minuten initial; je Experiment prüfen
- Setup: eine Primärmetrik mit expliziten Gegenhypothesen, Guardrails und Stoppschwellen sichtbar vorbereiten und Bewertungsbegriffe vor Beginn kalibrieren.
Für die Arbeitsschritte bereitstellen
Risiken: Gegenhypothesen
- Primärmetrik und Entscheidung
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Gegenmetriken: Gegenmetriken
- Schadenshypothesen
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Schwellen: Schwellen
- Metrikverträge
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Überprüfen: Überprüfen
- Guardrail-Regel
- potenzielle Nebenwirkungen
- Segment- und Systemdaten
Counter-Metric-Vertrag
| Eintrag | Ziel · Formel · gewünschte Änderung | Möglicher Schaden und Wirkpfad | Formel · Population · Fenster | Baseline · Stoppschwelle · Segment | Primär + Counter · Handlung |
|---|---|---|---|---|---|
| Counter-Metric-Vertrag |
- Counter-Metric-Vertrag: Durchgearbeitetes Beispiel
Nur reale Angaben, Quellen und Entscheidungen eintragen.
Microsoft Experimentation Platform: Overall Evaluation Criterion
Risiken: Gegenhypothesen
Erwartetes Artefakt: Schadenshypothesen
Schadenshypothesen · Quelle · Unsicherheit · nächster Entscheid
Eintrag:
...
- Ist der Wirkpfad von Optimierung zu Schaden nachvollziehbar?
Gegenmetriken: Gegenmetriken
Erwartetes Artefakt: Metrikverträge
Metrikverträge · Quelle · Unsicherheit · nächster Entscheid
Eintrag:
...
- Misst die Gegenmetrik den Schaden oder nur ein bequemes Proxy?
Schwellen: Schwellen
Erwartetes Artefakt: Guardrail-Regel
Guardrail-Regel · Quelle · Unsicherheit · nächster Entscheid
Eintrag:
...
- Ist klar, wann ein positives Hauptergebnis trotzdem abgelehnt wird?
Überprüfen: Überprüfen
Erwartetes Artefakt: Ausgewogene Entscheidung
Ausgewogene Entscheidung · Quelle · Unsicherheit · nächster Entscheid
Eintrag:
...
- Sind Segment- und Langzeiteffekte berücksichtigt?
Offene Fragen und nächste Schritte
...
Methodenanleitung: https://methodatlas.meierhoff-systems.de/de/methods/counter-metrics/run-sheet
06
Beispielausgabe
Konkret gefülltes Szenario, fiktives Beispiel
Fiktives Beispiel zur Orientierung. Die genannten Mengen und Zeiten beschreiben diesen Fall und sind keine allgemeine Vorgabe.
counter-metrics-beispiel.md
Konkret gefülltes Szenario, fiktives Beispiel
Fiktives Beispiel: Primärmetrik +10 % abgeschlossene Reviews. Counter Metric 1: Anteil Reviews unter 5 Minuten darf nicht um >2 pp steigen, weil oberflächliche Abschlüsse drohen. Counter Metric 2: Änderungsquote gespeicherter Entscheidungen innerhalb 48 Stunden darf nicht >15 % sein. Segmentcheck: neue Teams separat. Verletzung stoppt Rollout trotz positiver Primärmetrik.
07
Stolperfallen
Symptome erkennen, gegensteuern
Kurzüberblick, vollständiger Text steht in der jeweiligen Phase im Ablauf
- GegenhypothesenEine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.In der Phase ansehen
- GegenmetrikenEine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.In der Phase ansehen
- SchwellenEine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.In der Phase ansehen
- ÜberprüfenEine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.In der Phase ansehen
Falle
Gegenhypothesen
Symptom
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.
Was tun
Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Falle
Gegenmetriken
Symptom
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.
Was tun
Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Falle
Schwellen
Symptom
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.
Was tun
Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
Falle
Überprüfen
Symptom
Eine lokale Zielmetrik verbessert sich, während eine relevante Nebenwirkung unbeobachtet bleibt.
Was tun
Vom konkreten Schadenspfad zurück zur beobachtbaren Früh- oder Ergebnisgröße gehen und Schwelle vor Start festlegen.
08
Abbruchkriterien
Wann du anhalten, Voraussetzungen klären oder einen anderen Ansatz wählen solltest
Counter-Metric-Vertrag beantwortet die Kernfrage mit nachvollziehbaren Belegen oder offen markierter Unsicherheit.
Owner, nächste Aktion und Prüftermin sind für offene Punkte benannt.
Methodenanleitung durchgearbeitet?
Zum Steckbrief für Zweck, ähnliche Methoden und Quellen oder direkt zur nächsten Methode im Katalog.