AI-Assistent

Der Tab AI-Assistent auf der Seite mit den Testdetails öffnet einen interaktiven Chat im Agenten-Stil, der sich auf den Test bezieht, den Sie gerade betrachten. Im Gegensatz zum One-Shot-Ablauf Mit KI erstellen in der Testfall-Liste ist der AI-Assistent eine persistente Sitzung: Sie können über viele Nachrichten hinweg mit ihm interagieren, ihn bitten, Fehler zu untersuchen, Schritte zu ändern, das Ergebnis zu validieren und das Gespräch später fortzusetzen.

Der Assistent hat direkten Zugriff auf den Test, an den er gebunden ist. Je nach gewähltem Modus kann er den Test lesen, ausführen, Protokolle und Screenshots einsehen, einzelne Schritte bearbeiten sowie Aktivitäten, Parameter und Varianten hinzufügen oder entfernen.

Wann sollte man den AI-Assistenten vs. "Mit KI erstellen" verwenden?

Situation	Verwendung
Sie haben noch nichts und möchten Tests gesammelt aus einer Beschreibung/einem Dokument importieren.	Mit KI erstellen / Per KI importieren
Sie haben einen bestehenden Test und möchten ihn debuggen, erweitern oder umschreiben.	AI-Assistent (diese Seite)
Sie haben eine schnelle Frage zum Produkt.	AI-Assistent → Freier Chat

Eine Sitzung starten

Öffnen Sie den Tab AI-Assistent für einen gespeicherten Test und wählen Sie eine der Anwendungsfall-Karten auf dem Startbildschirm. Jede Karte startet eine Sitzung mit einem anderen System-Prompt und einem anderen Satz an Werkzeugen, die der Assistent verwenden darf.

Sitzungen werden pro Test gespeichert: Der Chat erscheint im Tab "AI-Assistent" des jeweiligen Tests, kann nach dem Schließen des Browsers fortgesetzt werden und listet frühere Sitzungen auf, die Sie (oder andere Benutzer im Tenant) für denselben Test durchgeführt haben.

Anwendungsfälle

Test zum Bestehen bringen (Get this test passing)

Der Assistent versucht, einen fehlgeschlagenen Test mit der kleinstmöglichen Änderung wieder zum Bestehen zu bringen.

• Sie liefern: den Test, den Sie betrachten, plus optional einen Hinweis darauf, was Ihrer Meinung nach falsch ist. Es sind keine Screenshots oder Protokolle erforderlich – der Assistent ruft diese selbst ab.
• Was der Assistent tut: Er führt den Test aus, untersucht Protokolle und Screenshots beim fehlgeschlagenen Schritt, prüft die Testdefinition und schlägt gezielte Korrekturen vor bzw. wendet diese an – z. B. die Klärung einer mehrdeutigen Schrittbeschreibung, das Anpassen einer Wartezeit, das Korrigieren eines falsch benannten Elements oder das Lockern einer zu strengen Assertion. Er ist explizit angewiesen, die Intention des Tests zu bewahren (das Was, das getestet wird) und sofort aufzuhören, sobald der Test erfolgreich ausgeführt wurde.
• Sie erhalten: einen aktualisierten Test plus ein Protokoll, das erklärt, was gefunden und geändert wurde. Sie können die Änderungen im Tab Änderungsverlauf überprüfen.
• Gut für: instabile oder defekte Tests nach einer Produktänderung, schnelle Ursachenanalyse, wenn man bei einem Schritt feststeckt, der eigentlich funktionieren sollte, es aber nicht tut.

Test definieren / ändern

Ein spezifikationsgesteuerter Ablauf zum Erstellen eines brandneuen Tests oder zum grundlegenden Neudefinieren eines bestehenden Tests. Der Untertitel der Karte fasst die vier Phasen zusammen: Verstehen → Protokoll vereinbaren → Interaktiv aufzeichnen → Zweimal validieren.

In der Praxis gliedert sich dies in drei geschützte Phasen:

1. Verstehen & auf das Ziel ausrichten. Der Assistent liest den aktuellen Test, fasst in ein oder zwei Sätzen zusammen, was er gefunden hat, und stellt bei Bedarf klärende Fragen. Er beginnt erst dann mit Änderungen, wenn Sie das vorgeschlagene Protokoll explizit akzeptieren – dies ist der Schritt "Protokoll vereinbaren".
2. Interaktiv erstellen. Der Assistent startet eine interaktive Ausführung des Tests (pausiert nach jedem Schritt, um die Live-Seite zu sehen) und fügt Schritt für Schritt Funktionen hinzu oder bearbeitet diese. Nach jedem Schritt validiert er gegen die laufende Anwendung, bevor er fortfährt. Aufgezeichnete Schritte verwenden konkrete Werte; die Parametrisierung erfolgt erst, nachdem der Test sauber durchläuft.
3. Zweimal validieren. Sobald der Assistent seine Arbeit als beendet betrachtet, führt er den Test zweimal hintereinander nicht-interaktiv aus. Beide müssen bestehen, damit die Arbeit als erledigt gilt. Schlägt einer fehl, startet der Assistent die Validierungsphase erneut.

Gut für: Neudefinition von Akzeptanzkriterien, große Refactorings eines bestehenden Tests, Erstellen eines neuen Tests durch Besprechen der User Journey statt manuelles Schreiben von Schritten.

Freier Chat

Ein reines Gespräch mit dem Assistenten, ohne Werkzeuge und ohne Testzugriff. Der Assistent kann nichts ausführen, keine Ausführungsdaten lesen und den Test nicht ändern – er beantwortet lediglich Fragen.

Gut für: Fragen zur Funktionsweise von Features, Tipps zum Schreiben von Prompts, Brainstorming einer Teststrategie, Behebung allgemeiner Nutzungsfragen.

Instabilen Test stabilisieren (in Kürze verfügbar)

Ein geplanter Modus, der sich auf gelegentliche Fehler konzentriert – Identifizierung nicht-deterministischer Schritte, Hinzufügen von Schutzbedingungen und Behebung von Umgebungsabweichungen. Die Karte auf dem Startbildschirm wird mit einem In Kürze-Badge angezeigt, bis der Modus veröffentlicht wird.

Was der Assistent sehen und tun kann

Fähigkeit	Test zum Bestehen bringen	Test definieren / ändern	Freier Chat
Gebundene Testdefinition lesen	✓	✓	—
Ausführungsverlauf, Protokolle und Screenshots lesen	✓	✓	—
Test ausführen (nicht-interaktiv)	✓	✓	—
Test interaktiv ausführen, Schritt für Schritt	—	✓	—
Einzelne Schritte bearbeiten	✓	✓	—
Schritte, Aktivitäten, Parameter und Varianten hinzufügen/entfernen	✓	✓	—

Der Assistent ist nur auf den gebundenen Test beschränkt – er kann keine anderen Tests, Ausführungen anderer Tests oder irgendetwas außerhalb des Tenants lesen.

Kostenverfolgung

Jeder Nachrichtenaustausch in einer Sitzung wird gemessen (Eingabetoken, Ausgabetoken, Cache-Treffer). Die laufenden Kosten in USD werden in der Sitzung angezeigt – vorausgesetzt, für das konfigurierte Chat-Modell sind Preise hinterlegt.

Konfiguration (Administrator)

Der AI-Assistent ist eine Opt-in-Funktion pro Tenant und erfordert, dass ein Administrator ein Chat-Modell für den Assistenten festlegt. Die Einstellung befindet sich neben Ihren anderen KI-Modell-Standardwerten in den Tenant-Einstellungen.

Erforderliche Einstellung

1. Konfigurieren Sie unter Einstellungen → KI-Modelle ein Chat-Modell, das agentische, mehrstufige Werkzeugnutzung unterstützt.
2. Legen Sie unter Einstellungen → Tenant-Einstellungen das soeben konfigurierte Chat-Modell als Standardmodell für Agenten fest. Dies ist eine separate Einstellung vom "Standardmodell für Assertions / Schrittidentifizierung / Elementidentifizierung", das für die Testausführung verwendet wird.

Wenn kein Standardmodell für Agenten konfiguriert ist, können Benutzer keine AI-Assistent-Sitzungen starten – der Tab ist nicht verfügbar und die API lehnt die Sitzungserstellung ab.

Empfohlene Modelle

Der Assistent funktioniert am besten mit leistungsstarken Reasoning-Modellen. Kostengünstigere Modelle werden vom Backend nicht abgelehnt, neigen jedoch dazu, den Überblick bei mehrstufigen Anweisungen zu verlieren, Werkzeugergebnisse falsch zu klassifizieren und bei langen Sitzungen schlechte Bearbeitungsvorschläge zu machen. Als Basis empfehlen wir:

Anbieter	Empfohlene Basis
Anthropic Claude	Claude Opus (aktuelle Generation)
OpenAI / Azure OpenAI	GPT-5 oder neuer – im Assistenten als "Copilot" angezeigt

tipp

"Copilot" ist kein separates Produkt oder Feature-Toggle. Wenn das Standardmodell für Agenten ein OpenAI / Azure OpenAI-Modell ist, verwendet der Assistent im Hintergrund das Copilot-SDK und tritt als Copilot auf. Wenn das Standardmodell ein Anthropic Claude-Modell ist, verwendet der Assistent das Claude Agent-SDK. Aus Benutzersicht sehen der Tab und die vier Anwendungsfälle in beiden Fällen gleich aus.

Sie können günstigere Modelle für Assertions und Elementidentifizierung konfiguriert lassen (damit die tägliche Testausführung kosteneffizient bleibt), während Sie das teure Reasoning-Modell speziell für den AI-Assistenten reservieren.

Fehlermodus, wenn kein kompatibles Modell konfiguriert ist

Wenn das Standardmodell für Agenten fehlt, können Benutzer, die den Tab "AI-Assistent" öffnen, keine Sitzung starten – die Anwendungsfall-Karten sind inaktiv oder der Startbildschirm zeigt eine Konfigurationsmeldung an. Der Administrator muss das Modell in den Tenant-Einstellungen konfigurieren, bevor der Assistent verfügbar wird.

Sitzungen und Fortsetzen

• Sitzungen werden pro Test gespeichert. Ein Test kann im Laufe seiner Lebensdauer viele Sitzungen ansammeln.
• Eine Sitzung kann später fortgesetzt werden: Der Assistent springt zum vorherigen Status zurück und das Gespräch wird fortgesetzt.
• Zwei Benutzer im selben Tenant können parallele Sitzungen für denselben Test haben, dies ist jedoch im Modus Test zum Bestehen bringen und Test definieren / ändern riskant, da beide Sitzungen denselben Test bearbeiten können. Koordinieren Sie sich offline oder nutzen Sie Sitzungen nacheinander.

Berechtigungen

• Jeder mit Zugriff auf den Tenant und den Test kann eine AI-Assistent-Sitzung starten.
• Das Bearbeiten von Tests über den Assistenten erfordert Bearbeitungsrechte auf dem Tenant – dieselben Rechte, die Sie benötigen, um Änderungen manuell zu speichern.
• Produktadministratoren können Sitzungen, die von anderen Benutzern erstellt wurden, einsehen (aber nicht unbedingt fortsetzen).

Einschränkungen und bewährte Verfahren

• Akzeptanz-Schranke bei "Test definieren / ändern". Der Assistent beginnt erst dann mit Änderungen an Ihrem Test, wenn Sie sein vorgeschlagenes Protokoll im Chat explizit akzeptieren. Dies ist beabsichtigt – es verhindert, dass der Assistent auf Abwege gerät, die später rückgängig gemacht werden müssten.
• Ein Schritt nach dem anderen während der interaktiven Aufzeichnung. In Phase 2 von Test definieren / ändern fügt der Assistent einen Schritt hinzu, verifiziert ihn auf der Live-Seite und geht erst dann zum nächsten über. Es wird davon abgeraten, ihn zu bitten, viele Schritte auf einmal hinzuzufügen; dies ist langsamer, nicht schneller.
• Zuerst konkrete Werte, dann Parameter. Wenn der Assistent einen Schritt aufzeichnet, verwendet er echte Werte (z. B. Schreibe "alice" in das Benutzername-Feld). Die Parametrisierung mit [[…]]-Platzhaltern erfolgt, nachdem der Test erfolgreich läuft – konvertieren Sie funktionierende Tests in datengesteuerte Tests, nicht umgekehrt.
• Keine harte Kostengrenze pro Sitzung. Sitzungen laufen, bis Sie sie abbrechen, der Test besteht oder Betriebsgrenzen erreicht werden. Behalten Sie bei langen Debugging-Sitzungen die Kostenanzeige im Auge.
• Kein Diff / Revert. Der Assistent ändert den Test direkt. Verwenden Sie den Tab Änderungsverlauf, um zu überprüfen, was geändert wurde – beachten Sie jedoch, dass der Änderungsverlauf schreibgeschützt ist und keine Änderungen rückgängig machen kann.
• Freier Chat ist bewusst ohne Werkzeuge. Wenn Sie möchten, dass der Assistent den Test liest oder ändert, wählen Sie einen der beiden anderen Modi – der Freie Chat wird dies höflich ablehnen.
• An einen Test gebunden. Eine Sitzung sieht den Test, von dem aus sie gestartet wurde, sowie dessen Ausführungsverlauf, nichts anderes. Um an einem anderen Test zu arbeiten, starten Sie eine neue Sitzung im Tab "AI-Assistent" dieses Tests.