KI,KI,KI. Die Studien dazu reichen von 55,8 Prozent schneller bis 19 Prozent langsamer. Beide Zahlen stammen aus randomisierten Versuchen. Wer daraus eine Investitionsentscheidung ableiten will, hat eine größere Herausforderung.
Nicht dass die Studien schlecht wären. Es liegt daran, dass dei Studien verschiedene Dinge messen, in verschiedenen Umgebungen, mit verschiedenen Werkzeugen. Wir vergleichen Äpfel mit Birnen. Und die meisten Firmen messen bei sich selbst noch schlechter: nach Gefühl.
Dieser Text zeigt, warum das so ist, und wie Sie die Wirkung bei sich belastbar prüfen.
Was die Studien tatsächlich messen#
| Studie | Wer, wann | Gemessen | Ergebnis |
|---|---|---|---|
| METR | 16 erfahrene Open-Source-Entwickler an ihren eigenen Projekten, Februar bis Juni 2025 | Zeit je Aufgabe, jede Aufgabe zufällig mit oder ohne KI | 19 % langsamer (Spanne +2 bis +39 %), gefühlt 20 % schneller |
| Cui und Kollegen | 4.867 Entwickler bei Microsoft, Accenture und einem Großkonzern, 2022 bis 2024 | Anzahl abgeschlossener Aufgaben | im Mittel 26 % mehr, vor allem bei Berufseinsteigern |
| Brynjolfsson, Li, Raymond | 5.179 Mitarbeiter im Kundenservice, gestaffelte Einführung | gelöste Fälle je Stunde | 14 % mehr, Neulinge 34 %, Erfahrene kaum |
| Dell’Acqua und Kollegen | 758 Berater bei BCG, 2023 | Aufgaben innerhalb und außerhalb dessen, was die KI kann | innerhalb schneller und besser; außerhalb seltener richtig (84 % ohne KI, 60 bis 70 % mit KI), aber überzeugender begründet |
Drei Messgrößen: Zeit je Aufgabe, Menge, gelöste Fälle. Vier sehr verschiedene Gruppen. Keine dieser Zahlen beantwortet die Frage, die ein Geschäftsführer stellt: Werden meine Produkte schneller, besser oder günstiger fertig?
Dazu kommt das Gefühl. Die Entwickler bei METR erwarteten vorher 24 Prozent Zeitgewinn. Nachher glaubten sie, 20 Prozent schneller gewesen zu sein. Gemessen waren sie 19 Prozent langsamer. Gefühl und Messung lagen fast 40 Punkte auseinander.
METR selbst stuft dieses Ergebnis inzwischen als überholt ein, weil sich die Werkzeuge seitdem stark verändert haben. Der Folgeversuch zeigt aber etwas Wichtigeres: Immer mehr Entwickler lehnten die Teilnahme ab, weil sie nicht mehr ohne KI arbeiten wollten. 30 bis 50 Prozent reichten bestimmte Aufgaben gar nicht erst ein. METR erklärte die neuen Daten für ein unzuverlässiges Signal und baut das Studiendesign um.
Das ist kein Versagen der Forscher. Es ist ein Signal: Wenn niemand mehr ohne das Werkzeug arbeiten will, gibt es keine Vergleichsgruppe mehr. Und - die Messungen 1 und 2 sind nicht mehr vergleichbar.
Die eigentliche Ursache: neues Werkzeug, alter Prozess#
Um das Jahr 1900 ersetzten Fabriken ihre Dampfmaschine durch einen Elektromotor. Die Transmissionswellen, Riemen und die Anordnung der Maschinen blieben. Die Produktivität stieg kaum. Der Sprung kam erst in den 1920er Jahren, als Fabriken neu gebaut wurden: ein Motor je Maschine, Materialfluss auf einer Ebene. Das war rund vier Jahrzehnte nach der Markteinführung des Stroms.
Heute passiert dasselbe. KI wird in denselben Entwicklungsprozess gesetzt: dieselben Abstimmungsrunden, dieselben fünf bis zwanzig Werkzeuge, dieselben Inkonsistenzen zwischen ihnen. Die KI schreibt schneller. Aber das Schreiben war nie der Engpass. In einer Untersuchung zur Automobilentwicklung kamen bei Änderungen auf einen Tag Bearbeitung zwei Wochen Wartezeit. Der Befund stammt von 1999 und ist ein historischer, kein aktueller Messwert. Er zeigt aber die Größenordnung: Wer nur die Bearbeitung beschleunigt, beschleunigt den kleineren Teil.
Menschen sind dabei schnell, Organisationen nicht. In den USA nutzten zwei Jahre nach dem Start 39,5 Prozent der Erwachsenen generative KI, beim Internet waren es nach derselben Zeit 20 Prozent. Unter den US-Firmen gaben im Mai 2026 dagegen nur 19,8 Prozent an, KI zu nutzen. Das Werkzeug kommt an. Der Umbau nicht.
Drei Ursachen, nach Gewicht geordnet:
- Werkzeug ohne Prozessumbau. Wiegt am schwersten. Ohne Umbau gibt es nichts, was messbar besser werden kann.
- Messen über Prozessgrößen und Gefühl. Führt dazu, dass niemand weiß, ob sich etwas verbessert hat.
- Kein Prüfschritt an der Grenze dessen, was die KI kann. Dort werden Ergebnisse falsch, sehen aber besser aus als vorher.
Warum Sie Prozessgrößen nicht vergleichen können#
Bei einem echten Umbau verändert sich das, was Sie messen. Abstimmungsrunden im alten Prozess und Freigaben im neuen sind verschiedene Dinge. Das ist, als würde man Riemenwechsel an der Transmission mit der Wartung eines Elektromotors vergleichen. Zwei identische Organisationen mit identischen Anforderungen, die man nebeneinander laufen lassen könnte, gibt es nicht.
Daraus folgt aber nicht, dass man nicht messen kann. Die Vergleichbarkeit geht innen verloren, außen bleibt sie erhalten. Auch die Elektrifizierung wurde nicht an Riemen gemessen, sondern am Ergebnis: Leistung je Arbeitsstunde.
Trennen Sie deshalb zwei Fragen:
- Nachweis: Ist es besser als vorher? Das beantworten nur Ergebnisgrößen, die Sie schon vorher erhoben haben (sollten).
- Steuerung: Läuft das neue System? Das beantworten Größen aus dem neuen Prozess. Sie vergleichen nichts mit früher, sie sagen Ihnen, ob es jetzt funktioniert.
Die Lösung: Prüfen Sie die Wirkung an Ihren eigenen Ergebnissen#
| Baustein | Inhalt |
|---|---|
| Ursache | KI wird in einen unveränderten Prozess gesetzt und am Gefühl gemessen |
| Maßnahme | Den Prozess umbauen: ein gemeinsames Objekt für alle Fachbereiche, ein Datenmodell, offene Prüfpunkte statt Abstimmungsrunden. KI dort einsetzen, wo das Ergebnis prüfbar ist. Messfähige Größen |
| Symptom | Aussagen zur KI-Wirkung, die sich nicht belegen lassen; Lizenzen nach Bauchgefühl |
| Messgröße | Durchlaufzeit bis zur Freigabe bzw. zum Konformitätsnachweis; Änderungen nach der Freigabe; Fehler, die erst im Test, in der Fertigung oder beim Kunden auffallen; Nacharbeitskosten |
| Frist | Nach dem zweiten Projekt im neuen Ablauf, spätestens nach zwölf Monaten |
| Abbruch | Bewegt sich keine Ergebnisgröße über ihre bisherige Streuung hinaus, war es ein Werkzeugwechsel und kein Umbau. Dann zurück zur Ursache, nicht weitere Lizenzen kaufen |
So gehen Sie vor:
- Ergebnisgrößen festlegen, bevor sich etwas ändert. Nehmen Sie Größen, die Sie heute schon erheben. Dokumentieren mit Messmittel und Werten.
- Baseline ziehen. Werte aus den letzten zwei bis drei Projekten, dazu die Streuung, am besten als Regelkarte. Ohne Streuung kein Toleranzband, ohne Toleranzband keine Aussage.
- Den Prozess umbauen, nicht nur das Werkzeug tauschen.
- Gestaffelt einführen. Ein Team beginnt, das nächste folgt später. Das ersetzt die Vergleichsgruppe, die Sie nicht haben. Die Kundenservice-Studie oben hat genau so gemessen.
- Im neuen System steuern. Wie oft muss ein Vorschlag der KI korrigiert werden? Findet die Freigabe absichtlich eingestreute Fehler? Wenn nicht, ist die Ruhe in der Freigabe kein Zeichen von Qualität, sondern von nachlassender Aufmerksamkeit.
Eine Grenze bleibt: Ein einzelnes Projekt beweist wenig. Ein neues Team, ein leichteres Projekt oder hohe Motivation können denselben Effekt erzeugen. Belastbar wird die Aussage über Wiederholung.
Wer das entscheidet: die Geschäftsführung bzw. die Entwicklungsleitung. Nur dort liegt die Stellautorität über Prozess und Budget.
Was es kostet, das nicht zu tun: Sie zahlen für Werkzeuge, deren Wirkung niemand kennt, und bauen aus, was sich gut anfühlt. Wie weit Gefühl und Messung auseinanderliegen können, haben Sie oben gesehen.
Und die Organisation?#
Dasselbe Muster gilt für die Organisation selbst, spätestens wenn ie die Organisationsprozesse umbauen. Sie lässt sich strukturieren wie ein Produkt: eine Gliederung, Zuständigkeiten als Etiketten, Aufgaben angeheftet statt in parallelen Listen gepflegt.
Der Unterschied: In der Technik ist der Streit meist eine Inkonsistenz der Information, und diese löst die Struktur auf. In der Organisation kommt der Interessenkonflikt dazu: Budget, Macht, Zuständigkeit. Den löst keine Struktur. Struktur macht den Interessenskonflik aber sichtbar, als offenen Punkt mit einem Adressaten, statt ihn als „Abstimmungsbedarf" zu tarnen. Erwarten Sie dort kleinere Effekte als in der Technik. Und messen Sie genauso: an Ergebnissen, nicht an Meetings.
In eigener Sache#
Anbieteraussage: Ich entwickle mit OTSM ein Werkzeug für genau diesen Umbau in der Entwicklung. Eine belastbare Wirkungszahl habe ich dafür noch nicht. Prüfweg: Ich baue gerade ein Referenzsystem ausschließlich aus öffentlichen Vorgaben auf und veröffentliche Eingangsdaten, Systemgrenze, Ergebnis und meine Stunden. Damit kann jeder dieselben Eingangsdaten mit seiner eigenen Methode bearbeiten und vergleichen.
Quellen#
Evidenzstufen: A amtliche Statistik · B unabhängige Forschung mit offener Methodik · E Aussage im Interesse des Absenders.
- METR: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, Erhebung Februar bis Juni 2025. Stufe B. METR ist eine gemeinnützige Forschungsorganisation ohne kommerzielles Interesse am Ergebnis. metr.org
- METR: We are Changing our Developer Productivity Experiment Design, Februar 2026, 57 Entwickler, über 800 Aufgaben. Stufe B. metr.org
- Cui, Demirer, Jaffe, Musolff, Peng, Salz: The Effects of Generative AI on High-Skilled Work, Management Science 2025, Feldversuche 2022 bis 2024. Stufe B; zwei Autoren arbeiten bei Microsoft, dem Anbieter des untersuchten Werkzeugs. pubsonline.informs.org
- Peng, Kalliamvakou, Cihon, Demirer: The Impact of AI on Developer Productivity: Evidence from GitHub Copilot, 2023 (Quelle der 55,8 Prozent, eine einzelne, klar abgegrenzte Programmieraufgabe). Beteiligung von GitHub, dem Anbieter des Werkzeugs. arxiv.org
- Brynjolfsson, Li, Raymond: Generative AI at Work, Quarterly Journal of Economics 2025. Stufe B. nber.org
- Dell’Acqua und Kollegen: Navigating the Jagged Technological Frontier, Feldexperiment mit 758 BCG-Beratern, 2023. Stufe B; BCG war beteiligt und verkauft KI-Beratung. Zusammenfassung eines Mitautors: oneusefulthing.org
- Paul A. David: The Dynamo and the Computer, American Economic Review 1990. Stufe B, historische Analyse. PDF
- Terwiesch, Loch: Managing the Process of Engineering Change Orders: The Case of the Climate Control System in Automobile Development, Journal of Product Innovation Management 1999. Stufe B, historischer Befund.
- Bick, Blandin, Deming: The Rapid Adoption of Generative AI, Erhebung August 2024. Stufe B. nber.org
- U.S. Census Bureau, Business Trends and Outlook Survey, Erhebung bis Mai 2026. Stufe A. census.gov