Effekte messen statt schätzen - genau das tun wir in unseren Projekten.
Worum es geht
METR hat erfahrene Open-Source-Entwickler an echten Aufgaben in ihren eigenen Projekten arbeiten lassen - zufällig mit oder ohne AI-Werkzeuge. Mit AI brauchten sie im Schnitt rund 19% länger.
Was uns überrascht hat
Die Teilnehmenden selbst schätzten, mit AI etwa 20% schneller gewesen zu sein. Gefühlte und gemessene Wirkung lagen weit auseinander.
Was wir daraus machen
Die Studie bildet einen frühen Stand der Werkzeuge ab und erfahrene Leute in Code, den sie sehr gut kennen. Trotzdem ist die Lehre klar: Effekte messen, nicht schätzen. Genau deshalb weisen wir in unseren Referenzen aus, wie gemessen wurde - siehe Vom Ticket zum Pull Request und 85% auf der Folie, 36% im Projekt.
