Nicht das Modell ist der Engpass, sondern der Code, auf den es trifft.
Worum es geht
Adam Tornhill, Gründer von CodeScene, geht einer Beobachtung nach, die viele Teams kennen: Die ersten Wochen mit AI-Agenten sind schnell. Ein paar Monate später ist der Vorsprung weg, weil die Komplexität wächst und mehr Fehler in Produktion landen. Seine These: Agenten scheitern an denselben Mustern, an denen auch Menschen scheitern. Dazu gehören tief verschachtelte Logik, Gott-Klassen, verschluckte Exceptions und fehlende Modularität.
Grundlage ist eine eigene Studie. Mehrere Sprachmodelle sollten Tausende kleine Python-Programme refaktorieren, und Tests prüften, ob danach noch alles funktioniert. Auf gesundem Code gingen die Änderungen deutlich seltener kaputt. Bei mittelgroßen Modellen war das Bruchrisiko je nach Modell rund 15 bis 30% niedriger.
Was uns interessiert hat
Codequalität wird zur Voraussetzung für AI, nicht zur Kür. Laut Talk liegt der durchschnittliche Codebestand weit unter dem Niveau, ab dem Agenten verlässlich arbeiten. Gewachsener Altbestand ist damit der eigentliche Engpass für Agenten im Unternehmen.
Ein Agent allein räumt kaum auf. In CodeScenes Messung behob ein aktueller Coding-Agent ohne Hilfe nur etwa jeden fünften Code-Smell. Mit einem objektiven Qualitätssignal als Rückkopplung waren es fast alle. Das Muster überzeugt uns: deterministisch messen, den Agenten gezielt umbauen lassen, wieder messen.
Merge-Konflikte sind ein Team-Thema. Wenn mehrere Agenten parallel an derselben Gott-Klasse arbeiten, kollidieren sie. Die Lösung liegt im Schnitt der Verantwortlichkeiten, nicht im Modell.
Was wir einordnen
Die Zahlen stammen fast ausschließlich aus CodeScenes eigener Forschung, und Code Health ist deren eigene Metrik. Die zugrunde liegende Studie ist ein Preprint, untersucht kurze Wettbewerbs-Programme statt Produktivcode und nur Python. Bei den stärksten Modellen war der Unterschied statistisch nicht mehr signifikant. Auf den Folien und in der Pressemitteilung stehen teils höhere Werte als im Paper. Die Richtung halten wir trotzdem für plausibel: Sie deckt sich mit der Großstudie zu AI-Code in öffentlichen Repositories und mit unserer eigenen Erfahrung.
Was wir daraus machen
Bevor Agenten in einem Bestandssystem Tempo machen, lohnt ein Blick auf die Codegesundheit der Stellen, an denen sie arbeiten sollen. Wo es nötig ist, wird erst gezielt aufgeräumt, abgesichert durch Tests. Qualitätschecks gehören als festes Gate in die Agenten-Pipeline, nicht ans Ende. So arbeiten wir bei der AI-gestützten Modernisierung und so lief unser Praxisexperiment zum Bugfixing mit Agenten. Mehr zum Rahmen in Vom Artefakt zum Werkzeug.
Weiterführend: Preprint „Code for Machines, Not Just Humans“ (arXiv) · Video und Folien gibt es auf der Vortragsseite (Link oben).
