Vorher abschließenSimulierbarkeit
Eine Person kann die geplanten Antworten innerhalb realistischer Grenzen liefern.
Unrealistische Perfektion würde das spätere Produkt falsch darstellen.
MethodenanleitungProduct Discovery
Wizard of Oz Test
Die Anleitung zur Methode: Voraussetzungen und Materialien klären, den gesamten Ablauf verstehen und Ergebnisse, Stolperfallen sowie Abbruchkriterien nachschlagen.
KomplexitätHoch
Zeit2-10 Tage
Teilnehmende5-20 Nutzer
FormatWorkshop + Async
ReifegradEstablished
01
Vorbedingung
Was vorher fertig sein muss
Vorher abschließenTeilnehmerschutz
Freiwillige Forschungsteilnahme, Datenzugriff, Abbruch und zeitnahe Aufklärung planen.
Ist die verdeckte Rolle nicht vertretbar, offen manuell oder transparent simuliert testen.
02
Vorbereitung
Was vor Start vorliegen muss
Materialien
Fassade, Operator-Konsole, Antwortregeln, Protokoll.
Personen / Rollen
Teilnehmende, Moderator, verdeckter Operator.
Vorabinfos
Eine Interaktionshypothese, den simulierten Anteil und die zulässigen Grenzen festlegen.
Zeitbedarf
60–90 Minuten Vorbereitung; 20–40 Minuten je Sitzung plus Aufklärung.
Setup
Nutzeroberfläche und Operator-Konsole getrennt vorbereiten; Antwortregeln sichtbar halten und gemeinsame Zeitmarken für beide Logs nutzen.
03
Kernfrage
Die eine Frage, die diese Methode beantwortet
Wie nutzen Menschen diese Interaktion, wenn die fehlende Technik kontrolliert simuliert wird?
04
Ablauf
Phasen mit Ziel, Durchführung, Ergebnis und Stolperfalle
Beim Wizard of Oz Test bedient eine Person im Hintergrund Funktionen, die für Teilnehmende wie automatisierte Technik erscheinen. So werden Interaktion und Nutzenannahmen geprüft, bevor diese Technik entwickelt ist.
Wizard of Oz Test · Arbeitsvorlage
Fiktives Beispiel
Beim Wizard of Oz Test bedient eine Person im Hintergrund Funktionen, die für Teilnehmende wie automatisierte Technik erscheinen. So werden Interaktion und Nutzenannahmen geprüft, bevor diese Technik entwickelt ist.
Hypothese und Fassade
Welche Interaktion und Annahme werden geprüft? Was wird manuell simuliert?
Fiktiv: Ein Kursassistent schlägt zu drei genannten Zeitfenstern passende Kurse vor. Hypothese: Personen können danach selbst eine passende Auswahl treffen. Eine verborgene Operatorin wählt aus einer festen Kursliste; echte KI existiert nicht.
Operatorregeln und Grenzen
Antwortregeln, Latenz, Fehlerfälle und manuelle Eingriffe festlegen.
Lea liefert innerhalb von 20–40 Sekunden höchstens drei passende Angebote. Kein Treffer führt zu einer Rückfrage nach einem weiteren Zeitfenster. Ungeplante Antworten werden als Abweichung protokolliert.
Teilnahme und Aufklärung
Welche Information ist vorab nötig, welche Simulation bleibt vorübergehend verdeckt, und wie wird aufgeklärt?
Teilnahme an einem Forschungsprototyp freiwillig; nur erfundene Terminangaben, menschliche Einsicht in Eingaben angekündigt. Der konkrete Operatorablauf wird direkt danach erklärt; Abbruch und vereinbarte Löschung möglich.
Beobachtung und Operatorlog
Aufgabe, Nutzeraktion, Operatoraktion, Zeit, Hilfe und Ergebnis getrennt erfassen.
P02 nennt drei Zeiten; Lea antwortet nach 32 Sekunden. P02 übersieht den Standort und wählt einen zeitlich passenden Kurs am falschen Ort. Moderator erklärt erst nach Aufgabenende.
Aufklärung und Lernentscheid
Was wurde offengelegt, wie reagierte die Person und welche Aussagegrenzen bleiben?
P02 erfährt, dass Lea die Auswahl traf. Team ergänzt Ortsvergleich und testet erneut. Automatische Qualität, Skalierung und Betriebskosten sind durch den manuellen Versuch nicht belegt.
Alle Beispielangaben sind erfunden; sie erläutern die Anwendung.
- 1
Simulation
Simulation
Ziel
Simulationsvertrag
Voraussetzungen für diesen Schritt
- Interaktionsidee
Durchführung
- Hypothese, sichtbare Funktion und manuell simulierten Anteil festlegen.
- Realistische Antwortqualität und Latenz definieren; keine technische Leistungsfähigkeit durch menschliche Geschicklichkeit als bewiesen behandeln.
Ergebnis
Simulationsvertrag
Ist klar, welche Annahme der Test beantworten kann?
Qualitätscheck
Ist klar, welche Annahme der Test beantworten kann?
Stolperfalle
Der Test soll zugleich Skalierbarkeit beweisen. Technische Machbarkeit als eigenen Nachweis planen.
Zeitlicher Rahmen: 15–20 Minuten
- 2
Protokoll
Protokoll
Ziel
Durchführungsprotokoll
Voraussetzungen für diesen Schritt
- Simulationsvertrag und Aufgaben
Durchführung
- Operatorregeln, Grenzen, Einwilligung und Aufklärung vorbereiten.
- Den Umfang verdeckter Information auf das Notwendige begrenzen; menschlichen Zugriff auf sensible Eingaben nicht verschweigen und keine riskanten Entscheidungen simulieren.
Ergebnis
Durchführungsprotokoll
Sind Datenzugriff, Abbruch und Aufklärung geklärt?
Qualitätscheck
Sind Datenzugriff, Abbruch und Aufklärung geklärt?
Stolperfalle
Überraschende sensible Daten erreichen den Operator. Test unterbrechen und nur vereinbarte harmlose Testdaten verwenden.
Zeitlicher Rahmen: 20–30 Minuten
- 3
Probe
Probe
Ziel
Geprobter Aufbau
Voraussetzungen für diesen Schritt
- Protokoll und Fassade
Durchführung
- Fassade und Operatorablauf mit Standard-, Fehler- und Grenzfällen proben.
- Kommunikation zwischen Moderator und Operator sowie vollständige Zeit- und Aktionslogs prüfen.
Ergebnis
Geprobter Aufbau
Ist die Bedienung reproduzierbar statt improvisiert?
Qualitätscheck
Ist die Bedienung reproduzierbar statt improvisiert?
Stolperfalle
Jede Person bekommt eine andere Sonderlösung. Antwortregeln festlegen und Abweichungen kennzeichnen.
Zeitlicher Rahmen: 20–30 Minuten
- 4
Beobachtung
Beobachtung
Ziel
Verhaltensprotokoll
Voraussetzungen für diesen Schritt
- Geprobter Aufbau
Durchführung
- Aufgaben neutral stellen; Nutzerhandlung, Operatoraktion und Verzögerung getrennt protokollieren.
- Ohne Rettung durch den Moderator beobachten, wo Erwartungen, Vertrauen oder Ablauf scheitern; freiwilligen Abbruch jederzeit ermöglichen.
Ergebnis
Verhaltensprotokoll
Ist Hilfe als Eingriff im Protokoll sichtbar?
Qualitätscheck
Ist Hilfe als Eingriff im Protokoll sichtbar?
Stolperfalle
Erfolg nach Hilfestellung gilt als selbstständige Nutzung. Unterstützte und ungestützte Erledigung getrennt zählen.
Zeitlicher Rahmen: 20–40 Minuten
- 5
Aufklärung
Aufklärung
Ziel
Testbefund
Voraussetzungen für diesen Schritt
- Logs und Gespräch
Durchführung
- Die manuelle Simulation erklären, Reaktionen aufnehmen und Befunde begrenzen.
- Vereinbarte Möglichkeiten zum Umgang mit Forschungsdaten umsetzen; Nutzen, Bedienbarkeit und ungelöste Automatisierung getrennt bewerten.
Ergebnis
Testbefund
Sind Simulation und ihre Grenzen vollständig offengelegt?
Qualitätscheck
Sind Simulation und ihre Grenzen vollständig offengelegt?
Stolperfalle
Das Ergebnis wird als fertige Automatisierung präsentiert. Menschliche Leistung explizit ausweisen und nächsten Techniktest bestimmen.
Zeitlicher Rahmen: 10–15 Minuten
05
Artefakt
Was am Ende rauskommt
Skizze: so sieht das Artefakt aus
Form
Interaktionsbefunde mit Operatoraktionen, Latenzen, Grenzen und Debriefing.
Versionierung / Ownership
Datum und Geltungsbereich festhalten; bei Änderungen den alten Stand mit Begründung erhalten.
Tool-Alternativen
- Interaktiver Prototyp
- Verdeckte Operator-Konsole
- Zeitgestempeltes Aktionsprotokoll
wizard-of-oz-test-working-template.md
Eine Interaktionshypothese, den simulierten Anteil und die zulässigen Grenzen festlegen.
Wizard of Oz Test: Arbeitsvorlage
Fragestellung
Noch zu klären
Gewünschtes Ergebnis
Noch zu klären
Rahmen
Gesamter Durchlauf Zeit: 60–90 Minuten Vorbereitung; 20–40 Minuten je Sitzung plus Aufklärung.
Diese Vorlage während der Arbeit auf Papier oder in einem eigenen Dokument ausfüllen.
Vorbereitung für diesen Umfang
Methodische Grundausstattung
- Materialien: Fassade, Operator-Konsole, Antwortregeln, Protokoll.
- Rollen: Teilnehmende, Moderator, verdeckter Operator.
- Vorab-Infos: Eine Interaktionshypothese, den simulierten Anteil und die zulässigen Grenzen festlegen.
- Gesamter Zeitbedarf: 60–90 Minuten Vorbereitung; 20–40 Minuten je Sitzung plus Aufklärung.
- Setup: Nutzeroberfläche und Operator-Konsole getrennt vorbereiten; Antwortregeln sichtbar halten und gemeinsame Zeitmarken für beide Logs nutzen.
Für die Arbeitsschritte bereitstellen
Simulation: Simulation
- Interaktionsidee
Protokoll: Protokoll
- Simulationsvertrag und Aufgaben
Probe: Probe
- Protokoll und Fassade
Beobachtung: Beobachtung
- Geprobter Aufbau
Aufklärung: Aufklärung
- Logs und Gespräch
Wizard of Oz Test · Arbeitsvorlage
Hypothese und Fassade
Welche Interaktion und Annahme werden geprüft? Was wird manuell simuliert?
...
Operatorregeln und Grenzen
Antwortregeln, Latenz, Fehlerfälle und manuelle Eingriffe festlegen.
...
Teilnahme und Aufklärung
Welche Information ist vorab nötig, welche Simulation bleibt vorübergehend verdeckt, und wie wird aufgeklärt?
...
Beobachtung und Operatorlog
Aufgabe, Nutzeraktion, Operatoraktion, Zeit, Hilfe und Ergebnis getrennt erfassen.
...
Aufklärung und Lernentscheid
Was wurde offengelegt, wie reagierte die Person und welche Aussagegrenzen bleiben?
...
Arbeitsimpulse mit eigenen Angaben beantworten. Unbekanntes und Annahmen ausdrücklich markieren.
NN/g: The Wizard of Oz Method in UX
Simulation: Simulation
Erwartetes Artefakt: Simulationsvertrag
Ist klar, welche Annahme der Test beantworten kann?
Eintrag:
...
- Ist klar, welche Annahme der Test beantworten kann?
Protokoll: Protokoll
Erwartetes Artefakt: Durchführungsprotokoll
Sind Datenzugriff, Abbruch und Aufklärung geklärt?
Eintrag:
...
- Sind Datenzugriff, Abbruch und Aufklärung geklärt?
Probe: Probe
Erwartetes Artefakt: Geprobter Aufbau
Ist die Bedienung reproduzierbar statt improvisiert?
Eintrag:
...
- Ist die Bedienung reproduzierbar statt improvisiert?
Beobachtung: Beobachtung
Erwartetes Artefakt: Verhaltensprotokoll
Ist Hilfe als Eingriff im Protokoll sichtbar?
Eintrag:
...
- Ist Hilfe als Eingriff im Protokoll sichtbar?
Aufklärung: Aufklärung
Erwartetes Artefakt: Testbefund
Sind Simulation und ihre Grenzen vollständig offengelegt?
Eintrag:
...
- Sind Simulation und ihre Grenzen vollständig offengelegt?
Offene Fragen und nächste Schritte
...
Methodenanleitung: https://methodatlas.meierhoff-systems.de/de/methods/wizard-of-oz-test/run-sheet
06
Beispielausgabe
Konkret gefülltes Szenario, fiktives Beispiel
Fiktives Beispiel zur Orientierung. Die genannten Mengen und Zeiten beschreiben diesen Fall und sind keine allgemeine Vorgabe.
wizard-of-oz-test-beispiel.md
Konkret gefülltes Szenario, fiktives Beispiel
Fiktives Beispiel
Hypothese und Fassade: Fiktiv: Ein Kursassistent schlägt zu drei genannten Zeitfenstern passende Kurse vor. Hypothese: Personen können danach selbst eine passende Auswahl treffen. Eine verborgene Operatorin wählt aus einer festen Kursliste; echte KI existiert nicht.
Operatorregeln und Grenzen: Lea liefert innerhalb von 20–40 Sekunden höchstens drei passende Angebote. Kein Treffer führt zu einer Rückfrage nach einem weiteren Zeitfenster. Ungeplante Antworten werden als Abweichung protokolliert.
Teilnahme und Aufklärung: Teilnahme an einem Forschungsprototyp freiwillig; nur erfundene Terminangaben, menschliche Einsicht in Eingaben angekündigt. Der konkrete Operatorablauf wird direkt danach erklärt; Abbruch und vereinbarte Löschung möglich.
Beobachtung und Operatorlog: P02 nennt drei Zeiten; Lea antwortet nach 32 Sekunden. P02 übersieht den Standort und wählt einen zeitlich passenden Kurs am falschen Ort. Moderator erklärt erst nach Aufgabenende.
Aufklärung und Lernentscheid: P02 erfährt, dass Lea die Auswahl traf. Team ergänzt Ortsvergleich und testet erneut. Automatische Qualität, Skalierung und Betriebskosten sind durch den manuellen Versuch nicht belegt.
07
Stolperfallen
Symptome erkennen, gegensteuern
Kurzüberblick, vollständiger Text steht in der jeweiligen Phase im Ablauf
- SimulationDer Test soll zugleich Skalierbarkeit beweisen.In der Phase ansehen
- ProtokollÜberraschende sensible Daten erreichen den Operator.In der Phase ansehen
- ProbeJede Person bekommt eine andere Sonderlösung.In der Phase ansehen
- BeobachtungErfolg nach Hilfestellung gilt als selbstständige Nutzung.In der Phase ansehen
- AufklärungDas Ergebnis wird als fertige Automatisierung präsentiert.In der Phase ansehen
Falle
Simulation
Symptom
Der Test soll zugleich Skalierbarkeit beweisen.
Was tun
Technische Machbarkeit als eigenen Nachweis planen.
Falle
Protokoll
Symptom
Überraschende sensible Daten erreichen den Operator.
Was tun
Test unterbrechen und nur vereinbarte harmlose Testdaten verwenden.
Falle
Probe
Symptom
Jede Person bekommt eine andere Sonderlösung.
Was tun
Antwortregeln festlegen und Abweichungen kennzeichnen.
Falle
Beobachtung
Symptom
Erfolg nach Hilfestellung gilt als selbstständige Nutzung.
Was tun
Unterstützte und ungestützte Erledigung getrennt zählen.
Falle
Aufklärung
Symptom
Das Ergebnis wird als fertige Automatisierung präsentiert.
Was tun
Menschliche Leistung explizit ausweisen und nächsten Techniktest bestimmen.
08
Abbruchkriterien
Wann du anhalten, Voraussetzungen klären oder einen anderen Ansatz wählen solltest
Der Operator rettet jeden Fehler: Regeln begrenzen und realistische Fehler oder Verzögerungen mitprüfen.
Methodenanleitung durchgearbeitet?
Zum Steckbrief für Zweck, ähnliche Methoden und Quellen oder direkt zur nächsten Methode im Katalog.