Testausführung

Diese Seite beschreibt alles rund um das Ausführen und Überprüfen von Testausführungen — sowohl die Listenansicht unter /tenant/:tenant/executions als auch die Detailansicht unter /tenant/:tenant/executions/display/:executionId/test/:testId. Spezifische Themen (Cache, Auto-Waiting, Scrolling, Tab-Handhabung, …) haben eigene Unterseiten.

Die Liste der Testausführungen

Öffnen Sie Test Executions in der linken Navigation. Die Liste zeigt alle Ausführungen an, die der Tenant gesammelt hat, beginnend mit der neuesten.

Die Kopfzeile zeigt die Gesamtzahl der Ausführungen (Available test executions (629)). Die Seite ist server-seitig paginiert — wählen Sie am unteren Rand der Tabelle 5, 10, 25, 50 oder 150 Zeilen pro Seite.

Spalten

Spalte	Bedeutung
(Typ-Icon)	Icon, das anzeigt, ob der Durchlauf von einem einzelnen Testfall oder einem Testset stammt (siehe Execution Plans).
Execution	Der Name des Testsets (oder „Unnamed“ für Einzel-Durchläufe), dargestellt als farbiger Status-Tag. Der Tooltip listet den Gesamtstatus sowie die ersten zehn enthaltenen Tests bei Testset-Durchläufen auf. Ein durchgestrichener Name bedeutet, dass der Test oder das Testset gelöscht wurde.
Created At	Wann die Ausführung erstellt wurde, in Ihrer lokalen Zeitzone.
Triggered via	Wie der Start ausgelöst wurde: Manual, Scheduled, Pipeline oder Admin.
Version	Die msg.ZenTestAI Runner-Version, die den Test ausgeführt hat.
Tokens consumed	Insgesamt verbrauchte AI-Tokens. Wenn Preise für das Modell konfiguriert sind, werden die Kosten in Ihrer Währung in Klammern angehängt (z. B. `1.325 (€0)`). Siehe AI-Models für die Preiskonfiguration.
Cache hit ratio	Prozentsatz der Tokens, die aus dem Cache geladen wurden, anstatt das Modell erneut abzufragen. Ein höherer Wert bedeutet günstigere und schnellere Ausführung.
Duration	Die tatsächliche Dauer der Ausführung.
Actions	Buttons, die beim Überfahren mit der Maus (Hover) sichtbar werden — siehe unten.

Zeilenaktionen

Überfahren Sie eine Zeile mit der Maus, um folgende Aktionen zu sehen:

Rerun — führt den gesamten Durchlauf erneut aus. Nur verfügbar für finale Status (Passed / Failed / Cancelled / Failed-Blocked), sofern der zugrunde liegende Test oder das Testset noch existiert.
Rerun failed — nur für Testset-Ausführungen, die mindestens einen fehlgeschlagenen, abgebrochenen oder nie gestarteten Test enthalten. Führt nur diese Tests erneut aus und lässt die erfolgreichen Tests unberührt.
Delete — löscht die Ausführung und ihre Artefakte (Screenshots, Videos, Logs) dauerhaft. Erfordert eine Bestätigung.

Ein Klick auf eine beliebige andere Stelle in der Zeile öffnet die Detailansicht.

Filter — öffnet ein Popover mit vier Filtern: Status, Test Case, Test Set / Execution Plan und Time Range (Today, Last 7 days, Last 30 days, …, All). Der Filter-Button zeigt einen Badge mit der Anzahl der aktiven Filter. Apply wendet die Filter an; Reset setzt sie zurück.
Refresh — lädt die aktuelle Seite vom Backend neu. Die Listenansicht aktualisiert sich nicht automatisch.
Cleanup — öffnet einen Datums-Picker, um alle Ausführungen zu löschen, die älter als ein gewähltes Datum sind. Erfordert eine zweite Bestätigung vor der Ausführung.

Es gibt auf dieser Seite keine Freitextsuche und keine Spaltensortierung; verwenden Sie stattdessen die Filter.

Statuswerte der Ausführung

Die Plattform verfolgt sieben Status:

Status	Bedeutung
Initial	Neu erstellt, noch nicht vom Runner übernommen.
Queued	Wartet in der Schlange, da eine andere Ausführung läuft und das Limit für parallele Ausführungen des Tenants erreicht ist.
Running	Wird derzeit ausgeführt.
Passed	Erfolgreich abgeschlossen.
Failed	Mit mindestens einem fehlgeschlagenen Schritt abgeschlossen.
Cancelled	Vom Benutzer vor Abschluss gestoppt.
Failed (Blocked)	Konnte nicht ausgeführt werden, da eine Richtlinie für parallele Ausführungen dies verhinderte (typischerweise: eine andere Ausführung auf demselben Ziel lief noch).

Jeder Status wird als farbiger Tag in der Spalte "Execution" dargestellt.

Die Detailansicht der Ausführung

Klicken Sie auf eine Zeile in der Liste (oder öffnen Sie die URL /tenant/:tenant/executions/display/:executionId/test/:testId), um zur Detailseite der jeweiligen Ausführung zu gelangen. Dies ist der Bildschirm, auf dem Sie die meiste Zeit verbringen, wenn Sie einen Durchlauf untersuchen.

Die Seite besteht aus drei Bereichen:

Kopfzeile mit dem Titel des Durchlaufs, dem Ausführungsstatus und allen aktionsbezogenen Funktionen.
Linkes Panel, das alle in dieser Ausführung enthaltenen Testfälle auflistet.
Rechtes Panel mit der Zeitleiste der Schritte oben und einer Browser-Vorschau (Video für abgeschlossene Durchläufe, Live-Screenshot für laufende Durchläufe) unten.

Die Trennlinie zwischen links und rechts ist verschiebbar; die Breite wird für zukünftige Besuche gespeichert.

Von links nach rechts:

Zurück-Pfeil — kehrt zur Liste der Ausführungen zurück.
Titel — für einen einzelnen Test: Test run at: <date> <status>. Für einen Testset-Durchlauf: Test run of <Set name> <status>, wobei der Name des Sets auf die Definition verlinkt. Archivierte Ausführungen zeigen ein graues „Archived“-Label; interaktive Durchläufe zeigen einen pulsierenden „Interactive“-Badge.
Info-Button (ⓘ) — öffnet ein Popover mit Start-/Endzeit, Trigger-Quelle, Testset-Name, Runner-Version, Testanzahl, gesamten Tokens + Kosten, Dauer. Für Tests, die aus einem externen System (Jira XRay, Zephyr) importiert wurden, zeigt das Popover auch einen Link Open in External System, der das verknüpfte Ticket öffnet.
Display Mode Selektor — schaltet um, was jede Schrittkarte neben ihrem Status anzeigt: Status (Standard), Token Info (nicht gecacht / Gesamtzahl der Tokens) oder Duration.
Rerun — führt den Durchlauf von Grund auf neu aus. Nur sichtbar für finale Ausführungen, bei denen der zugrunde liegende Test noch existiert. Tastenkombination: Ctrl+p.
Rerun failed — für Testset-Ausführungen mit mindestens einem fehlgeschlagenen / abgebrochenen / initialen Test, führt nur diese erneut aus.
Cancel — sichtbar während Running / Queued / Initial. Stoppt die Ausführung nach Bestätigung.
Pause to Interactive — für einen Einzeltest-Durchlauf, der noch läuft; übergibt die Kontrolle an den interaktiven Modus, damit Sie den Rest manuell durchschreiten können (siehe Interactive execution unten).
Stop Recording — sichtbar während eines interaktiven Durchlaufs, wenn ein Schritt verarbeitet wird.
Log — öffnet das Log / Protocol Popover für den ausgewählten Testfall. Nur sichtbar, wenn ein Test im linken Panel ausgewählt ist.

Linkes Panel — Testfälle

Jeder in dieser Ausführung enthaltene Testfall erscheint als Zeile im linken Panel.

Die Zeilenüberschrift zeigt den Testtitel (mit (Kombinationsname) falls er mit einer Variante ausgeführt wurde), ein Status-Icon (animiert während eines Laufs), einen ⓘ Info-Button und einen Edit-Stift, der zur Testdefinition springt.
Das ⓘ Info-Popover für einen Test zeigt die Beschreibung, die verwendete Parameterkombination, die Dauer, die Ergebnisnachricht der KI, eine Zeitleiste der aufgelösten Parameter und Makroberechnungen, einen Clear Cache-Button für den gesamten Test und — für erfolgreich/fehlgeschlagene Durchläufe — ein Timing analysis-Chart-Icon, das eine schrittweise Aufschlüsselung von Netzwerkanfragen und Wartebedingungen öffnet.
Testset-Durchläufe gruppieren Tests nach Ausführungsreihenfolge (Setup → Haupttests → Teardown), mit beschrifteten Trennern zwischen den Gruppen.
Das Aufklappen eines Tests zeigt seine Schritte — und wenn der Test Activities definiert oder Loop-Schritte enthält, werden diese als einklappbare, verschachtelte Gruppen angezeigt, farbcodiert nach dem schlechtesten Status innerhalb der Gruppe.
Während eines Live-Laufs wählt das Panel automatisch den ersten laufenden Test aus, es sei denn, Sie haben manuell einen anderen ausgewählt.

Es gibt keine Suche oder Filter innerhalb des Panels — bei vielen Tests scrollen Sie durch die Gruppen oder verwenden Sie das testId-Segment der URL, um direkt zu einem Test zu springen.

Rechtes Panel — Schritt-Zeitleiste

Die obere Hälfte des rechten Panels ist die Schritt-Zeitleiste für den ausgewählten Testfall. Sie hat zwei Anzeigemodi:

One-liner (Standard) — eine einzelne horizontale Reihe von Schrittkarten, zentriert auf den relevantesten Schritt (derjenige, der gerade im Video abgespielt wird, der laufende Schritt oder der letzte abgeschlossene Schritt). Wenn mehr Schritte vorhanden sind, als in die Breite passen, erscheint ein …-Indikator an beiden Enden; ein Klick darauf schaltet in die „All-steps“-Ansicht.
All steps — eine umgebrochene, mehrzeilige Liste aller Schrittkarten. Ein Einklapp-Icon kehrt in den „One-liner“-Modus zurück.

Jede Schrittkarte enthält:

Ein farbiges Status-Icon (animierter Bogen während des Fortschritts).
Den Schritttitel.
Eine sekundäre Zeile, die durch den Display Mode-Selektor gesteuert wird — Statustext, Cache-Info (Cached / Partly from cache / Not cached) oder Dauer.
Einen Warnindikator, wenn die KI potenzielle Probleme erkannt hat (Elemente mit mehreren Übereinstimmungen, DOM-Instabilität, Cache-Nichtübereinstimmungen). Ein Klick auf die Warnung öffnet das Schritt-Popover auf dessen Warnings-Tab.

Loop und Condition-Schritte erscheinen hier als einzelne Karte; klappen Sie diese im linken Panel auf, um Iterationen / Zweige zu sehen.

Während ein Video geladen ist, springt das Video beim Überfahren einer Schrittkarte zur Startzeit dieses Schritts.

Ein Klick auf eine Schrittkarte (in der Zeitleiste oder im linken Panel) öffnet ein Popover mit bis zu drei Tabs.

General

Feld	Beschreibung
Description	Der Schritttext, wie er geschrieben wurde.
Resolved parameters & calculations	Derselbe Text nach Ersetzung von `[[parameters]]`, `${=macros()}` und `${ dynamic calculations }`.
Value	Zusätzlicher Wert (z. B. der eingegebene Text, der ausgewählte Wert).
Search for element	Die Elementbeschreibung, die der Agent verwendet hat, um das Ziel zu finden.
Result	Das Urteil der KI (bestanden / fehlgeschlagen) mit ausführlicher Erklärung.
Explanation for result	Die Begründung für das Vertrauen der KI.
Suggestion for better description	Ein KI-generierter Verbesserungsvorschlag für mehrdeutige Schritte mit einem Take over suggestion-Button.
XPath for element	Der tatsächlich verwendete XPath, um das Element zu lokalisieren.
Token cache info	Cache-Status mit einem ⓘ-Dialog für Details. Dieser zeigt den Cache-Eintrag, XPath-Kandidaten mit Qualitätsbewertungen, semantische Validierungsergebnisse, Statistiken und ermöglicht das Löschen einzelner Cache-Einträge.
AI model	Das Modell, das diesen Schritt ausgeführt hat.
Duration	Zeit in Sekunden (für abgeschlossene Schritte).
Screenshots	Alle für den Schritt gemachten Screenshots; klickbar, um eine Vollbild-Lightbox zu öffnen.

Additional — erscheint bei einigen Schritttypen:

Expect / Condition / Condition Group — die genaue Frage, die die KI ausgewertet hat, plus eventuelle Klärungsfragen und -antworten.
Select from combobox / agentic execution — eine Schritt-für-Schritt-Historie der agentischen Schleife: Aktion, Ziel, Überlegung, Strategie, Element, Wert, Ergebnis, Fehler.
Loop — eine Schleifen-Analysekarte (statischer vs. dynamischer Pfad, „upgraded via screenshot“-Badge) plus Iterationskarten mit der Entscheidung (continue / stop / skip) und Parameter-Ersetzungen für jede Iteration.

Warnings — erscheint, wenn der Agent den Schritt markiert hat. Zeigt strukturierte Warnkarten mit Hinweisen zur Fehlerbehebung und ein Daumen-hoch/runter-Feedback-Widget zur Elementauswahl.

Footer-Buttons im Popover:

Fix known error (Glühbirne) — erscheint, wenn der Schritt mit einem bekannten Fehlermuster übereinstimmt; öffnet den Dialog für bekannte Fehler.
Get step recommendation (Schraubenschlüssel, rot) — nur im interaktiven Modus während einer Pause; fragt die KI nach Vorschlägen, was als Nächstes zu tun ist.
Start recording from here — startet bei einem abgeschlossenen Lauf eine neue interaktive Ausführung, die direkt zu diesem Schritt vorspult.
Clear cache — löscht den KI-Cache für diesen einzelnen Schritt. Nützlich, wenn ein Schritt aufgrund eines veralteten Cache-Eintrags immer wieder das falsche Element auswählt.

Browser-Rahmen

Die untere Hälfte des rechten Panels ist ein simuliertes Browser-Fenster, das entweder ein Video (für abgeschlossene, nicht-interaktive Durchläufe) oder einen Live-Screenshot (für laufende oder interaktive Durchläufe) enthält.

Tab-Leiste — zeigt geöffnete Browser-Tabs mit ihren Titeln. Im interaktiven „unlocked“-Modus klickbar.
URL-Leiste — aktuelle Seiten-URL. Im interaktiven „unlocked“-Modus bearbeitbar (Enter navigiert, Esc bricht ab).
Zurück / Vor / Neu laden — aktiv im interaktiven „unlocked“-Modus.
Lock / Unlock-Schalter — nur im interaktiven Modus. „Locked“ bedeutet, der Runner steuert den Browser; „Unlocked“ erlaubt freies Klicken und Tippen auf der Seite (der Runner zeichnet diese Interaktionen nicht auf).
Roter Fenster-Schließen-Button — sichtbar während einer laufenden Ausführung. Bricht den Lauf ab (mit Bestätigung).
Dev Console — sichtbar während eines laufenden Durchlaufs. Öffnet die Developer Console in einem separaten Fenster.

Für abgeschlossene Durchläufe sind die Video-Steuerelemente am unteren Rand die nativen HTML5-Steuerelemente (Play / Pause / Suchen / Geschwindigkeit / Vollbild). Die URL-Leiste aktualisiert sich während der Videowiedergabe.

Während ein Test in der Warteschlange steht oder wartet (initial, Position in der Warteschlange, Warten auf vorherige Tests, Analysieren von Schritten, Startvorgang), zeigt der Browser-Bereich ein Informations-Overlay anstelle eines Screenshots.

Log / Protokoll

Der Log-Button in der Kopfzeile öffnet ein Popover mit dem Protokoll pro Ausführung, das in zwei Tabs (Test / Execution) unterteilt ist und Tools zum Filtern, Exportieren und Auslösen ausführlicher Support-Wiederholungen bietet. Siehe Reading the Log für die vollständige Anleitung.

Cache-Verwaltung

Der XPath- / Element-Cache beschleunigt wiederholte Ausführungen durch Wiederverwendung von Element-Lookups, die bereits von der KI validiert wurden. Es sind drei Ebenen der Cache-Löschung verfügbar:

Pro Schritt — Clear cache-Button im Footer des Schritt-Detail-Popovers.
Pro Test — Clear cache-Button im ⓘ-Info-Popover des Tests im linken Panel.
Pro Cache-Eintrag — der detaillierte Cache-Info-Dialog (ⓘ neben „Token cache info“ in den Schritt-Details) ermöglicht das Löschen einzelner XPath-Kandidaten, falls nur ein einzelner veraltet ist.

Es gibt keine mandantenweite Aktion zum „Löschen des gesamten Caches“; löschen Sie auf der Ebene der kleinsten Einheit, die fehlerhaft ist. Siehe Caching für die vollständige Caching-Strategie.

Erneutes Ausführen einer Ausführung

Es gibt vier verschiedene Möglichkeiten, einen abgeschlossenen Durchlauf erneut (oder teilweise) auszuführen. Sie erscheinen als bedingte Buttons in der Toolbar:

Aktion	Ort	Was sie bewirkt
Rerun	Toolbar jeder terminalen Ausführung; gleicher Button in der Zeile der Listenansicht. Hotkey: `Ctrl`+`p`.	Führt den vollständigen Durchlauf mit derselben Testdefinition und derselben Parameterkombination erneut aus.
Rerun failed	Toolbar jeder Testset-Ausführung, die mindestens einen fehlgeschlagenen / abgebrochenen / initialen Test hat.	Führt nur die fehlgeschlagenen Mitglieder des Sets erneut aus; die bereits bestandenen Testergebnisse bleiben in der neuen Ausführung erhalten.
Collect Support Information	Toolbar des Log-Popovers.	Führt den Test im Verbose-Modus erneut aus und erfasst zusätzliche Daten (KI-Kommunikation, HTTP, HTML-Snapshots, Speicher) für den Support.
Start recording from here	Schritt-Popover bei einem abgeschlossenen Lauf (nur Nicht-Login-Schritte).	Startet eine neue interaktive Ausführung, die zu dem gewählten Schritt vorspult, damit Sie den Test ab diesem Punkt ändern können. Siehe Recording.

Ein erneuter Durchlauf erstellt immer eine neue Ausführung — die vorherige bleibt unberührt und in der Liste erhalten. Wenn sich die Testdefinition seit dem ursprünglichen Durchlauf geändert hat, verwendet der neue Durchlauf die aktuelle Definition.

Interaktive Ausführung

Wenn eine Ausführung läuft, können Sie manuell mit Pause to interactive in der Toolbar übernehmen (nur bei Einzeltest-Durchläufen). Die Detailseite schaltet dann in dasselbe Aufnahme-UI um, das auch der Record Test-Button in der Testdefinition verwendet — das linke Panel wird zum Schritt-Aufnahmepanel, der Browser-Rahmen erhält einen Lock / Unlock-Schalter, und Sie können Schritte live hinzufügen, bearbeiten oder beenden.

Der vollständige Leitfaden für diesen Workflow befindet sich auf der Seite Recording. Insbesondere:

Sperren, Entsperren und das Aktionsmenü — siehe Recording → The lock toggle.
Steuerung der Wiedergabe von einer pausierten Position aus — siehe Recording → Driving the playback.
Empfehlungsmodus (alternative Schrittbeschreibungen für ein Element) — siehe Recording → Recommendation mode.
Starten einer interaktiven Sitzung von einem abgeschlossenen Lauf aus — siehe Recording → Starting a recording.

Developer Console

Die Developer Console ist ein ausklappbares Fenster, das verfügbar ist, während eine Ausführung läuft. Sie bietet einen KI-gestützten Element-Finder, einen Live-DOM-Inspektor und eine JavaScript-Konsole — sowie einen Timing analysis-Dialog mit der Zeitleiste der Netzwerkanfragen für abgeschlossene Durchläufe. Siehe Developer Console & Network Inspection für Details.

Auto-Refresh, Deep Links und Berechtigungen

Auto-Refresh. Die Detailansicht streamt Updates über Server-Sent Events, solange sich die Ausführung nicht in einem finalen Zustand befindet, mit einem 10-Sekunden-Polling-Fallback, falls SSE ausfällt. Die Listenansicht aktualisiert sich nicht automatisch — verwenden Sie den Refresh-Button.
Deep Links. Die URL /tenant/:tenant/executions/display/:executionId/test/:testId übersteht das Neuladen zuverlässig und kann geteilt werden. URLs ohne testId leiten zum ersten Test der Ausführung um.
Hotkey. Ctrl+p führt eine finale Ausführung erneut aus.
Berechtigungen. Alle Aktionen auf den Ausführungsseiten stehen jedem authentifizierten Benutzer des Tenants zur Verfügung. Die einzige eingeschränkte Funktion ist Collect / Download Support Information, die von der Detailed Service Request-Richtlinie des Tenants abhängt (konfiguriert in Tenant Settings).

Support und Fehlerberichte

Wenn sich ein Test fehlerhaft verhält und Sie nicht herausfinden können, warum, ist der empfohlene Workflow:

Öffnen Sie die Detailseite der fehlgeschlagenen Ausführung.
Öffnen Sie das Log-Popover.
Klicken Sie auf Collect Support Information, wählen Sie die einzuschließenden Daten aus und bestätigen Sie.
Nachdem der ausführliche erneute Durchlauf abgeschlossen ist, klicken Sie auf Download Support Information, um das Paket zu erhalten.
Teilen Sie das Paket mit dem Support-Team.

Das Paket enthält die Testdefinition, die KI-Modellkonfiguration, Screenshots, KI-Kommunikation und (falls Sie es gewählt haben) HTTP-Kommunikation, HTML-Snapshots und Speicher-Snapshots. Siehe Getting Help für den gesamten Support-Workflow, einschließlich dessen, was im Paket enthalten ist und wie mit geheimen Daten umgegangen wird.

Die Liste der Testausführungen​

Spalten​

Zeilenaktionen​

Toolbar​

Statuswerte der Ausführung​

Die Detailansicht der Ausführung​

Kopfzeile / Toolbar​

Linkes Panel — Testfälle​

Rechtes Panel — Schritt-Zeitleiste​

Schritt-Detail-Popover​

Browser-Rahmen​

Log / Protokoll​

Cache-Verwaltung​

Erneutes Ausführen einer Ausführung​

Interaktive Ausführung​

Developer Console​

Auto-Refresh, Deep Links und Berechtigungen​

Support und Fehlerberichte​

Verwandte Seiten​