Ausgangslage
Die automatisierte Testsuite des Kunden für Apps und Web-Portale läuft rund um die Uhr in der CI und auf echten Endgeräten. Bisher haben zwei Ingenieure jeden Fehlschlag von Hand bearbeitet: CI beobachten, Belege sammeln, Ursache zuordnen, Ticket schreiben - etwa 16 Stunden am Tag.
Lösung
Wir haben ein Agentensystem gebaut, das diese Schleife übernimmt:
- Überwachung und Belege - jeder Fehlschlag wird erfasst, mit Logs und Screenshots dokumentiert und per Fingerprint mit bekannten Fällen abgeglichen.
- Triage-Agent - ordnet jeden neuen Fehler ein: Testautomatisierung, System unter Test oder blockiert.
- Reparatur-Agent - behebt freigegebene Testfehler und führt die Tests erneut auf echten Geräten aus.
- Entscheidungen bleiben beim Team - Tickets landen im System des Kunden, Freigabe von Korrekturen und Merge erfolgen durch Menschen, über ein internes Dashboard.
So funktioniert das System
Ergebnis
- Rund 14 von 16 Stunden Routinearbeit am Tag übernimmt das System (≈ 88%). Das Team prüft und entscheidet nur noch - etwa 2 Stunden am Tag - und arbeitet in der übrigen Zeit an Aufgaben, die mehr bewegen.
- Rund 2.000 fehlgeschlagene Testläufe im Beispielmonat geprüft; etwa 40% der Vorfälle wiederholen sich und werden automatisch dem bestehenden Ticket zugeordnet.
- Für jeden Fehlschlag derselbe Satz an Belegen und eine begründete Einschätzung.
Teameinschätzung für einen Beispielmonat im Vergleich zum vollständig manuellen Betrieb.
Bewusst noch nicht gemessen: die Trefferquote der Urteile, die Ergebnisse der Reparaturen und die Zeit pro Vorfall. Der Aufbau startete mit rund 1,5 Vollzeitstellen; die frei gewordene Kapazität floss in die Weiterentwicklung. Die Modellkosten liegen bei rund 200-400€ im Monat für das gesamte System.
* Projekt: Umsetzung verantwortet · ● im Betrieb: wir betreiben die Lösung heute
