↓ Zum Hauptinhalt springen
Thomas Arends

Was hilft wirklich? Je größer die Verbreitung einer Managementmethode, desto schwächer ihr Wirksamkeitsnachweis

·22 min
Thomas Arends
Autor
Thomas Arends
Management Consulting, Interim-, Projekt-, Qualitätsmanagement
Inhaltsverzeichnis

Was hilft wirklich?
#

Methoden mit Evidenznachweis — und Methoden, die nur behaupten.

Es gibt eine unangenehme Regelmäßigkeit in der Methodenlandschaft von Engineering, Projektmanagement und Unternehmensführung:

Je größer die Verbreitung einer Managementmethode, desto schwächer ihr Wirksamkeitsnachweis.

Das ist keine Pointe, sondern eine falsifizierbare Behauptung. Sie fällt in dem Moment, in dem jemand eine randomisierte oder sauber quasi-experimentelle Studie mit unabhängiger Replikation vorlegt, die für SAFe, ITIL, Design Thinking, OKR, PMBOK oder das Business Model Canvas einen Ergebniseffekt zeigt. Ich habe keine gefunden. Wer eine hat: schicken, ich korrigiere den Text.

Umgekehrt gilt dasselbe: Die Verfahren mit der härtesten Evidenz — Versuchsplanung, Regelkarten, Code-Review, Referenzklassen-Prognose — stehen auf keiner Konferenz-Keynote und haben keine Zertifizierungsindustrie hinter sich.

Der Einwand, der ernst genommen gehört
#

Bevor die Liste kommt, das stärkste Gegenargument in seiner besten Form.

Erstens: Fehlende Evidenz ist nicht dasselbe wie fehlende Wirkung. Dass etwas nicht gemessen wurde, heißt nicht, dass es nicht funktioniert. Große Frameworks sind schwer randomisierbar — man kann einen 900-Personen-Konzern nicht in eine Behandlungs- und eine Kontrollgruppe teilen und ein Jahr laufen lassen.

Zweitens: Ein gemeinsames Vokabular hat Wert, der von seiner sachlichen Richtigkeit unabhängig ist. Wenn 400 Leute dasselbe Wort für dasselbe Ding benutzen, sinken Abstimmungskosten — selbst wenn das Wort schlecht gewählt ist. Das ist ein Koordinationseffekt, kein Erkenntniseffekt, aber er ist real.

Drittens: Wer ein strukturiertes Verfahren einführt, ändert nebenbei immer noch etwas anderes — Aufmerksamkeit, Managementpriorität, Gesprächsfrequenz. Der Effekt kann echt sein, auch wenn er nicht aus der Methode stammt.

Alle drei Einwände sind richtig. Sie erklären aber nicht, warum die Evidenz fehlt — sie erklären nur, warum sie schwer zu erheben wäre. Und genau hier liegt der Punkt, auf den dieser Text hinausläuft: Die Lücke ist nicht zufällig. Sie ist konstruiert.

Wie ich bewerte
#

Ohne offengelegtes Raster ist so eine Liste selbst nur Meinung. Fünf Stufen, jede angreifbar:

StufeKriterium
E1 — bewiesenMathematischer Beweis, oder randomisiertes Experiment mit unabhängiger Replikation
E2 — belegtMeta-Analyse über kontrollierte Experimente. Effektrichtung konsistent, Größenordnung bekannt
E3 — schwach belegtKorrelation, Querschnitt, Selbstauskunft. Effekt plausibel, Kausalität offen
E4 — unbelegtNur Fallstudien, Erfahrungsberichte, Anbieter-Evidenz. Die Behauptung wurde nie getestet
E5 — widerlegt oder defektReplikation gescheitert, oder der Rechenkern ist mathematisch unzulässig

Zwei Dinge, die dieses Raster nicht tut: Es sagt nichts über Nützlichkeit im Einzelfall. Und es bewertet nicht die Absicht der Urheber — die meisten dieser Methoden wurden von klugen Leuten aus ehrlichen Motiven entwickelt. Es bewertet ausschließlich, ob die Wirkungsbehauptung geprüft wurde.

E1 — Bewiesen
#

Diese Verfahren sind nicht “gut evaluiert”. Sie sind wahr, weil sie aus Mathematik oder Physik folgen, oder weil sie den seltenen Weg durch RCT und Replikation gegangen sind.

VerfahrenGrundlage
Statistische Versuchsplanung (DoE) 1Mathematischer Beweis
Statistische Prozesslenkung / Regelkarten 2Verteilungstheorie
Little’s Law und Warteschlangentheorie 3Theorem
Randomisiertes Kontrollexperiment / A/B-Test 4Ist selbst die Evidenzmethode
Poka Yoke (geometrische Fehlausschließung) 5Physikalisch determiniert
1/N als Portfolio-Benchmark 6Analytisch plus siebenfache empirische Replikation
Wissenschaftliche Entscheidungsführung im Startup 7RCT mit Großreplikation über 759 Firmen

Der letzte Eintrag verdient Beachtung, weil er in dieser Sammlung fast allein steht. Camuffo und Kollegen haben 116 italienische Startups randomisiert. Beide Gruppen erhielten dieselbe Grundausbildung; die Behandlungsgruppe lernte zusätzlich, ihre Geschäftsidee als Hypothese zu formulieren und zu testen. Ergebnis: bessere Performance, häufigere Pivots, keine höhere Abbruchquote. Vier Jahre später replizierte dasselbe Team über 759 Firmen in vier weiteren RCTs — mit stabilem Befund beim frühzeitigen Beenden untauglicher Ideen.

Das ist der Goldstandard, und er existiert. Es geht also. Es macht nur fast niemand.

E2 — Belegt
#

Effekt vorhanden, Richtung klar, Größenordnung bekannt — und oft kleiner als das Marketing.

VerfahrenBefund
Code-Review / Inspektion 8Höchste Defekt-Erkennung pro Aufwandsstunde
Statische Codeanalyse 9Messbare, deterministisch reproduzierbare Defektreduktion
Formale Methoden in Hochsicherheitsdomänen 10Fehlerklassen nachweisbar eliminiert, enger Geltungsbereich
Referenzklassen-Prognose / Outside View 11Systematisch bessere Schätzungen als Inside View
Conjoint-Analyse 12Prognosevalidität gegen reale Kaufentscheidungen bestätigt
Prospect Theory / Verlustaversion 13Länderübergreifend repliziert
Zielsetzungstheorie (Locke/Latham) 14Eine der bestbelegten Erkenntnisse der Organisationspsychologie
Passiv-Indexierung 15Aktive Fonds unterperformen mehrheitlich und persistenzfrei
Pair Programming 16Kleiner Qualitätsgewinn, kürzere Durchlaufzeit, höherer Personalaufwand
Test-Driven Development 17Kleiner Qualitätsgewinn, kein erkennbarer Produktivitätsgewinn

Zwei dieser Zeilen lohnen die Vergrößerung.

Pair Programming hat eine ordentliche Meta-Analyse. Sie zeigt einen kleinen positiven Effekt auf Qualität, einen mittleren positiven auf Durchlaufzeit — und einen mittleren negativen auf Aufwand. Das Verfahren tauscht also Personenstunden gegen Kalenderzeit und ein wenig Qualität. Das ist ein legitimer Tausch. Es ist nur nicht der Tausch, der auf Folien steht. Dieselbe Analyse meldet signifikante Streuung zwischen den Studien und Anzeichen für Publikationsbias.

TDD ist der interessantere Fall. Die Meta-Analyse über 27 Studien findet einen kleinen positiven Qualitätseffekt und praktisch keinen Produktivitätseffekt. Bemerkenswert ist die Untergruppenanalyse: In Industriestudien waren sowohl der Qualitätsgewinn als auch der Produktivitätsverlust deutlich größer als in akademischen Studien. Die studentischen Experimente, aus denen der Ruf der Methode wesentlich stammt, unterschätzen also beide Richtungen.

TDD funktioniert. Es kostet mehr, als behauptet wird, und liefert weniger, als behauptet wird. Beides gleichzeitig zu sagen ist keine Ablehnung — es ist die Voraussetzung dafür, es an der richtigen Stelle einzusetzen.

E3 — Schwach belegt
#

Hier existiert ein Zusammenhang. Ob er kausal ist und in welche Richtung er läuft, ist offen.

VerfahrenProblem
DORA / “Four Key Metrics” 18Selbstauskunft; DORA dementiert den Kausalanspruch selbst
CMMI, ASPICE, Reifegradmodelle 19Korrelativ, Evidenz überwiegend vom Herausgeber erzeugt
Earned Value Management 20Prognosewert belegt, Steuerungswirkung nicht
Six Sigma 21Finanzeffekte in der Fertigung belegt, Verdrängung von Exploration ebenfalls
Lean / Toyota Production System 22In der Serienfertigung solide, Übertragung auf Dienstleistung dünn
Stage-Gate 23Evidenz überwiegend vom Urheber, korrelativ
STPA / STAMP 24Findet Gefährdungen, die FMEA nicht findet — meist nicht-unabhängig belegt
Agile / Scrum insgesamt 25Systematisches Review: Evidenzstärke insgesamt niedrig
Continuous Integration / Trunk-based 26Plausibel, Hauptquelle wiederum DORA-Korrelation
Kano-Modell 27Klassifikation tragfähig, präskriptive Nutzung kaum getestet

DORA verdient eine Klarstellung, weil es in Engineering-Organisationen inzwischen wie ein Naturgesetz zitiert wird. Ein Großteil der Ursprungsforschung beruht auf Umfrageantworten — Teams berichten selbst, wie schnell sie deployen und wie erfolgreich ihre Organisation ist. Das ist kein Skandal, es ist eine legitime Methode mit bekannter Reichweite. Der Skandal liegt in der Rezeption: DORA selbst erhebt ausdrücklich keinen Kausalanspruch zwischen einer Einzelmetrik und Organisationsleistung, und der 2024er Report widerspricht dieser Lesart explizit. In der Praxis wird trotzdem auf Deployment-Frequenz gesteuert, als wäre sie die Ursache.

Wer eine Korrelation zur Zielgröße macht, bekommt zuverlässig die Korrelation und nicht das Ziel.

E4 — Unbelegt
#

Nicht “widerlegt”. Ungeprüft. Die Wirkungsbehauptung wurde nie einem Test ausgesetzt, der sie hätte scheitern lassen können.

VerfahrenStatus
SAFe 28Business-Nutzen ausschließlich in Anbieter-Fallstudien, nicht in akademischen Arbeiten
LeSS, Nexus, Scrum@Scale, Spotify Model 29Kein systematischer Vergleich über ein einheitliches Maß existiert
PMBOK, PRINCE2, IPMA → Projekterfolg 30Kein belastbarer Zusammenhang nachgewiesen
Critical Chain 31Praktisch keine unabhängige empirische Prüfung
OKR 32Das zugrundeliegende Prinzip ist bestbelegt — die Marke nie getestet
Balanced Scorecard 33Fallbasiert
Design Thinking 34Keine kontrollierte Evidenz für Ergebnisüberlegenheit
Business Model Canvas 35Darstellungsformat, Wirkungsanspruch ungeprüft
Holacracy 36Keine Evidenz, hohe dokumentierte Abbruchquote
Story Points, Velocity, Planning Poker 37Formale Schätzverfahren schlagen Expertenurteil nicht konsistent
Function Points, COCOMO 37Dito
Value Stream Mapping, Toyota Kata 38Fallbasiert
ITIL 39Keine rigorose Wirksamkeitsforschung
Beyond Budgeting 40Argumentativ, nicht empirisch
QFD als Priorisierungsverfahren 41Feldstudie über 35 Projekte: nur geringe, kurzfristige Effekte

Der SAFe-Eintrag ist der aufschlussreichste, weil hier jemand die Buchführung offengelegt hat. Eine Übersichtsarbeit sichtete sechs akademische Studien und siebenundvierzig nicht begutachtete Fallstudien, die von den SAFe-Urhebern selbst stammten. Die Geschäftsnutzen — Transparenz, Alignment, Qualität, Time-to-Market, Vorhersagbarkeit, Produktivität — tauchten ausschließlich in den Fallstudien auf. In den akademischen Arbeiten nicht.

Deutlicher lässt sich der Unterschied zwischen Evidenz und Marketing kaum dokumentieren. Und SAFe ist mit Abstand das meistverbreitete Skalierungsframework der Welt.

E5 — Widerlegt oder mathematisch defekt
#

VerfahrenBefund
FMEA-Risikoprioritätszahl (S × O × D) 42Ordinalzahlen multipliziert; im Standard selbst durch AP ersetzt
House of Quality, 1-3-9-Rechnung 43Rangumkehr allein durch Skalenwechsel
Taguchi-Signal-Rausch-Verhältnisse 44DoE-Kern gültig, die Taguchi-Kennzahlen statistisch zurückgewiesen
CAPM in testbarer Form 45Empirisch weitgehend zurückgewiesen
Root Cause Analysis als Einzelursachen-Suche 46Passt nicht zu Mehrfaktor-Systemen

Zum FMEA-RPN, weil das viele Leser direkt betrifft: Schwere, Auftreten und Entdeckung sind ordinale Urteile. Eine 8 ist nicht doppelt so schlimm wie eine 4, sie ist nur schlimmer. Solche Zahlen darf man ordnen, nicht multiplizieren. Das Produkt aus dreien davon erzeugt Werte, die mehrfach belegt sind (2·6·8 und 4·4·6 ergeben beide 96, meinen aber völlig Verschiedenes) und deren Rangfolge von der Skalenwahl abhängt statt von der Sache. Der AIAG-VDA-Standard hat die RPN 2019 genau deshalb durch die Aufgabenpriorität ersetzt. Das ist ein Eingeständnis im Regelwerk selbst.

Dieselbe Konstruktion steckt im House of Quality. Die Priorisierungszahl unten in der Matrix ist kein Messwert, sondern ein Artefakt der gewählten Skala. Robustheitsanalysen zeigen signifikante Rangumkehrungen allein durch den Wechsel von einer Skala zur anderen — bei ansonsten unveränderter Beziehungsmatrix. Bemerkenswert: Das QFD Institute selbst schreibt, dass Ordinalzahlen für Grundrechenarten nicht genug Information tragen und nur Ratio-Skalen gerechnet werden dürfen. Die Version, die in Lehrbüchern, Excel-Templates und Werkzeugen weltweit steckt, rechnet falsch — nach Aussage ihrer eigenen Institution.

Die Komplikation, die man nicht übergehen darf
#

Es gibt einen Fall, der meine eigene Argumentation angreift, und er gehört an diese Stelle statt in eine Fußnote.

Die OP-Sicherheitscheckliste der WHO ist das Vorzeigebeispiel der evidenzbasierten Prozessverbesserung. Frühe Studien zeigten dramatische Rückgänge bei Sterblichkeit und Komplikationen. Ein Bestseller wurde darüber geschrieben. Weltweit wurde eingeführt.

Dann kam Ontario. Eine Populationsstudie über 101 Krankenhäuser, 109.341 Eingriffe vor und 106.370 nach Einführung. Ergebnis: adjustierte Sterblichkeit 0,71 % vorher, 0,65 % nachher. Kein signifikanter Rückgang. Nicht bei Komplikationen, nicht bei Notaufnahmebesuchen, nicht bei Wiederaufnahmen. Die selbstberichtete Compliance lag bei über 90 %. 47

Die Autoren merkten anschließend an, dass ihre Methodik identisch war mit derjenigen der Studien, die große Vorteile gezeigt hatten — und dass die Kritik an ihrer Arbeit fast durchweg mangelhafte Implementierung als Ursache unterstellte.

Genau dieses Muster ist der Kern des Problems. Wenn ein negatives Ergebnis reflexhaft als Umsetzungsfehler gedeutet wird, ist die Methode nicht mehr falsifizierbar. Und das passiert nicht nur bei SAFe. Es passiert auch bei Verfahren, die ich oben in E1 und E2 einsortiert habe.

Was folgt daraus? Nicht, dass Checklisten nutzlos sind — der Befund ist heterogen, andere Populationsstudien fanden Effekte. Es folgt etwas Unbequemeres: Ein Wirksamkeitsnachweis in einem Kontext ist keine Zusicherung für einen anderen. Wer eine belegte Methode einführt und die Wirkung nicht selbst misst, hat keine belegte Methode. Er hat eine Hoffnung mit Literaturverzeichnis.

Zwei Strukturbefunde
#

WO DIE MASSE LIEGTE1 bewiesen7E2 belegt10E3 schwach belegt10E4 unbelegt15E5 widerlegt / defekt547 Einträge insgesamt. Das ist die Verteilung dieser Sichtung — keine Messung der Methodenlandschaft.

1. Die falsche Analyseeinheit
#

Evidenz existiert fast ausschließlich für enge Praktiken mit messbarem Ausgang: Review, Versuchsplanung, Regelkarte, Randomisierung, Referenzklasse. Für Frameworks — SAFe, LeSS, PMBOK, ITIL, Design Thinking, Holacracy — existiert praktisch keine.

Der Grund ist nicht Forschungsfaulheit. Ein Framework ist ein Bündel aus dreißig Praktiken, sechs Rollen, vier Zeremonien und einem Vokabular. Es ist nicht falsifizierbar konstruiert. Jedes negative Ergebnis lässt sich mit “nicht richtig implementiert” abfangen, und genau das geschieht regelmäßig — bei SAFe wie bei der Checkliste.

Eine Methode, die durch kein mögliches Ergebnis widerlegt werden kann, ist keine Methode. Sie ist eine Überzeugung mit Zertifikat.

DIE KONSTRUKTIONWirkungsbehauptung eines FrameworksErgebnis positivzählt als Beleg für die MethodeErgebnis negativzählt als UmsetzungsfehlerKein Ergebnis kann die Behauptung widerlegenEine Methode, die nicht fallen kann, ist keine Methode — sie ist eine Überzeugung mit Zertifikat.

2. Guter Kern, defekte Hülle
#

QFD, Taguchi, FMEA, OKR und Lean Startup zeigen dasselbe Muster: Ein tragfähiges Prinzip wird von einem Rechen- oder Zeremonienapparat umhüllt, der nie geprüft wurde.

  • Kundenbedarf explizit machen — tragfähig. Die 1-3-9-Multiplikation — defekt.
  • Faktoren systematisch variieren — bewiesen. Die Taguchi-S/N-Kennzahlen — zurückgewiesen.
  • Fehlerketten sichtbar machen — tragfähig. Die RPN — im Standard selbst abgeschafft.
  • Ziele explizit und anspruchsvoll setzen — eine der bestbelegten Erkenntnisse überhaupt. OKR als Quartalsritual — nie getestet.
  • Geschäftsideen als Hypothesen behandeln — per RCT belegt und repliziert. Der Build-Measure-Learn-Loop als Marke — nicht.
GUTER KERN, DEFEKTE HÜLLEKERN — TRÄGTHÜLLE — UNGEPRÜFT ODER DEFEKTQFDKundenbedarf explizit machen1-3-9-MultiplikationTaguchiFaktoren systematisch variierenSignal-Rausch-KennzahlenFMEAFehlerketten sichtbar machenRisikoprioritätszahl S × O × DOKRZiele explizit und anspruchsvollQuartalsritual als VerfahrenspaketLean StartupGeschäftsidee als Hypothese testenBuild-Measure-Learn als MarkeVerkauft wird die rechte Spalte. Die linke ist frei verfügbar und lässt sich nicht lizenzieren.

Die Zertifizierungsindustrie verkauft in allen fünf Fällen die Hülle. Der Kern ist frei verfügbar und lässt sich nicht lizenzieren.

Was das praktisch heißt
#

Für ein Unternehmen zwischen fünfzig und fünfhundert Mitarbeitern, das keine Methodenabteilung unterhält:

1. Frag nach der Vergleichsgruppe. Bei jeder Wirkungsbehauptung: verglichen womit? Wenn die Antwort “mit vorher” lautet, ist es keine Evidenz, sondern ein Zeitverlauf. Zwischen “vorher” und “nachher” hat sich immer auch etwas anderes geändert.

2. Trenne Prinzip von Marke. Frag bei jedem Framework: Welches der enthaltenen Prinzipien trägt die Wirkung, und brauche ich das Framework, um es zu haben? Meistens nicht. Explizite, anspruchsvolle Ziele bekommt man ohne OKR-Coach. Hypothesen testen bekommt man ohne Lean-Startup-Zertifikat.

3. Ordinalzahlen nicht multiplizieren. Wenn ein Werkzeug aus Schulnoten eine Kennzahl errechnet, auf deren Rangfolge dann Entscheidungen aufgebaut werden: nachrechnen, ob eine andere Skala eine andere Reihenfolge liefert. Meistens tut sie es. Dann ist die Zahl nicht entscheidungsfähig, egal wie professionell sie aussieht.

4. Bei Schätzungen: Referenzklasse vor Bauchgefühl. Nicht “wie lange brauchen wir dafür”, sondern “wie lange haben vergleichbare Vorhaben tatsächlich gebraucht”. Das ist der am besten belegte Einzelhebel in der gesamten Projektplanung, und er kostet nichts außer der Bereitschaft, in die eigene Vergangenheit zu schauen.

5. Messgröße vor Einführung festlegen. Sonst ist jede Methodeneinführung im Rückblick erfolgreich. Wer die Zielgröße erst danach wählt, hat nie ein Ergebnis, sondern immer nur eine Erzählung.

Und die Ehrlichkeit zum Schluss
#

Diese Liste ist selbst kein Evidenzdokument. Sie ist eine Sichtung mit offengelegtem Raster, und einzelne Einordnungen werden falsch sein. Für die Einträge, bei denen ich mich auf Standardreferenzen stütze statt auf eine geprüfte Primärquelle, ist das im Quellenverzeichnis markiert.

Der Unterschied zu dem, was ich hier kritisiere, liegt nicht darin, dass ich sicherer wäre. Er liegt darin, dass diese Behauptungen angreifbar formuliert sind. Sie können fallen. Das ist der ganze Punkt.

Fußnoten und Quellen
#

Prüfstatus: Quellen mit ✓ wurden im Rahmen dieser Recherche direkt geprüft (Abstract oder Volltext). Quellen ohne Markierung sind Standardreferenzen der jeweiligen Literatur und vor Veröffentlichung gegen das Original zu verifizieren.

  1. Design of Experiments (DoE), statistische Versuchsplanung. Verfahren, bei dem mehrere Einflussfaktoren gleichzeitig und nach einem randomisierten Plan variiert werden, statt einen nach dem anderen. Erlaubt es, Haupteffekte und Wechselwirkungen mit wenigen Versuchen sauber zu trennen. Begründet von R. A. Fisher, The Design of Experiments, 1935. Gültigkeit folgt aus der Statistik, nicht aus Erfahrung. ↩︎

  2. Statistische Prozesslenkung (SPC), Regelkarten. Laufende Messwerte eines Prozesses werden gegen statistisch berechnete Eingriffsgrenzen aufgetragen. Trennt zufällige Streuung (Systemursache, kein Eingriff) von echten Abweichungen (Sonderursache, Eingriff). Walter A. Shewhart, Economic Control of Quality of Manufactured Product, 1931. ↩︎

  3. Little’s Law. L = λ × W: Die durchschnittliche Anzahl im System entspricht Ankunftsrate mal Verweildauer. Daraus folgt zwingend, dass Durchlaufzeit steigt, wenn man mehr parallel anfängt, ohne schneller zu werden — die mathematische Grundlage jeder WIP-Begrenzung. John D. C. Little, A Proof for the Queuing Formula L = λW, Operations Research, 1961. ↩︎

  4. Randomisiertes Kontrollexperiment. Zufällige Zuordnung zu Behandlungs- und Kontrollgruppe. Der Zufall neutralisiert im Erwartungswert alle bekannten und unbekannten Störgrößen — deshalb erlaubt nur dieses Design eine Kausalaussage. Ist definitorisch gültig, weil es das Instrument der Evidenzprüfung selbst ist. ↩︎

  5. Poka Yoke. Gestaltung, bei der der Fehler physisch unmöglich wird — der Stecker passt nur in einer Orientierung, das Werkstück lässt sich nur richtig herum einlegen. Kein Verhaltensappell, sondern Geometrie. Shigeo Shingo, Toyota, 1960er. ↩︎

  6. 1/N-Portfolio. Gleichverteilung des Kapitals über alle verfügbaren Anlagen, ohne Schätzung von Renditen oder Kovarianzen. Dient als Nullhypothese gegen optimierte Portfolios. ✓ DeMiguel, Garlappi & Uppal, Optimal Versus Naive Diversification: How Inefficient is the 1/N Portfolio Strategy?, Review of Financial Studies 22(5), 2009, S. 1915–1953. Befund: Von 14 geprüften Modellen über sieben Datensätze schlug keines die 1/N-Regel konsistent bei Sharpe Ratio, Sicherheitsäquivalent oder Umschlagshäufigkeit — der Optimierungsgewinn wird durch Schätzfehler mehr als aufgezehrt. Das benötigte Schätzfenster läge bei rund 3.000 Monaten für 25 Anlagen. ↩︎

  7. Wissenschaftliche Entscheidungsführung im Startup. Die Geschäftsidee wird als überprüfbare Hypothese formuliert und getestet, statt durch Versuch-und-Irrtum oder bestätigungssuchendes Vorgehen bearbeitet. ✓ Camuffo, Cordova, Gambardella & Spina, A Scientific Approach to Entrepreneurial Decision Making: Evidence from a Randomized Control Trial, Management Science 66(2), 2020, S. 564–586 (116 italienische Startups, 16 Messzeitpunkte über ein Jahr; beide Gruppen erhielten dieselben zehn Grundlagensitzungen). ✓ Replikation: Camuffo, Gambardella & Spina, A scientific approach to entrepreneurial decision-making: Large-scale replication and extension, Strategic Management Journal, 2024 (759 Firmen, vier RCTs). ↩︎

  8. Code-Review / Software-Inspektion. Strukturierte Prüfung von Quelltext durch andere Entwickler vor Integration. Die formalisierte Variante mit definierten Rollen und Vorbereitungszeit geht auf Michael Fagan, Design and Code Inspections to Reduce Errors in Program Development, IBM Systems Journal 15(3), 1976, zurück. Standardreferenz — vor Veröffentlichung gegen aktuelle Übersichtsarbeiten prüfen. ↩︎

  9. Statische Analyse. Werkzeuggestützte Prüfung von Quelltext ohne Ausführung, gegen Regelsätze für Fehlermuster, Sicherheitslücken und Stilverstöße. Deterministisch reproduzierbar, daher direkt messbar. Standardreferenz. ↩︎

  10. Formale Methoden. Mathematischer Beweis, dass ein Programm seiner Spezifikation entspricht. Praktisch demonstriert an seL4 (verifizierter Betriebssystemkern) und CompCert (verifizierter C-Compiler). Extrem hoher Aufwand, daher auf Hochsicherheitsdomänen begrenzt. Standardreferenz. ↩︎

  11. Referenzklassen-Prognose / Outside View. Statt das eigene Vorhaben von innen zu schätzen, wird die tatsächliche Verteilung vergleichbarer abgeschlossener Vorhaben herangezogen. Korrigiert systematischen Optimismus. Bent Flyvbjerg, aufbauend auf Kahneman/Tversky; im Green Book des britischen Finanzministeriums als verpflichtender Optimism-Bias-Zuschlag verankert. Standardreferenz. ↩︎

  12. Conjoint-Analyse. Befragte bewerten vollständige Produktvarianten statt einzelner Eigenschaften; aus den Entscheidungen werden die impliziten Teilnutzenwerte statistisch geschätzt. Der methodische Gegenentwurf zur direkten Gewichtungsabfrage, wie sie QFD verwendet. Standardreferenz. ↩︎

  13. Prospect Theory. Menschen bewerten Ergebnisse relativ zu einem Referenzpunkt, gewichten Verluste stärker als gleich große Gewinne und verzerren kleine Wahrscheinlichkeiten. Kahneman & Tversky, Econometrica, 1979. Anders als große Teile der Verhaltensökonomie in Mehrländer-Replikationen bestätigt. Standardreferenz. ↩︎

  14. Zielsetzungstheorie. Spezifische und anspruchsvolle Ziele führen zu höherer Leistung als vage oder leichte Ziele — vorausgesetzt, Rückmeldung und Zielbindung sind gegeben. Locke & Latham, gestützt auf mehrere hundert Studien über vier Jahrzehnte. Nicht identisch mit OKR (siehe Fußnote 32). Standardreferenz. ↩︎

  15. Passiv-Indexierung. Kauf eines Marktindex statt Auswahl einzelner Titel. Evidenzbasis: die halbjährlichen SPIVA-Auswertungen von S&P Dow Jones Indices, die aktive Fonds über verschiedene Zeiträume gegen ihre Benchmark stellen. Standardreferenz. ↩︎

  16. Pair Programming. Zwei Entwickler arbeiten gemeinsam an einem Rechner, einer schreibt, einer prüft und denkt voraus. ✓ Hannay, Dybå, Arisholm & Sjøberg, The effectiveness of pair programming: A meta-analysis, Information and Software Technology 51(7), 2009, S. 1110–1122. Befund: kleiner signifikanter positiver Gesamteffekt auf Qualität, mittlerer positiver auf Dauer, mittlerer negativer auf Aufwand; signifikante Streuung zwischen Studien und Anzeichen für Publikationsbias; schneller bei geringer Aufgabenkomplexität, qualitativ besser bei hoher. ↩︎

  17. Test-Driven Development (TDD). Der Test wird vor dem Produktivcode geschrieben; entwickelt wird in Zyklen aus fehlschlagendem Test, minimaler Implementierung und Aufräumen. ✓ Rafique & Mišić, The Effects of Test-Driven Development on External Quality and Productivity: A Meta-Analysis, IEEE Transactions on Software Engineering 39(6), 2013, S. 835–856 (27 Studien). Befund: insgesamt kleiner positiver Qualitätseffekt, kaum erkennbarer Produktivitätseffekt; in Industriestudien waren sowohl Qualitätsgewinn als auch Produktivitätsverlust deutlich größer als in akademischen Studien. ↩︎

  18. DORA / Four Key Metrics. Vier Kennzahlen der Software-Auslieferung: Deployment-Frequenz, Vorlaufzeit für Änderungen, Wiederherstellungszeit, Änderungsfehlerrate. Forsgren, Humble & Kim, Accelerate, 2018, gestützt auf die jährlichen State-of-DevOps-Umfragen. ✓ Zum Erhebungsdesign: Ein Großteil der Ursprungsforschung beruht auf Umfrageantworten (getDX, Applying the DORA metrics, abgerufen 2026). ✓ Zum Kausalanspruch: DORA erhebt ausdrücklich keinen Kausalzusammenhang zwischen einer Einzelmetrik und Organisationsleistung; der Report 2024 dementiert dies explizit (Stride Research, DORA Metrics in Practice 2026, Mai 2026). ↩︎

  19. Reifegradmodelle (CMMI, Automotive SPICE). Stufenmodelle, die den Prozessreifegrad einer Organisation von “chaotisch” bis “optimierend” einordnen und als Lieferantenanforderung verwendet werden. Vorliegende Wirksamkeitsbelege sind überwiegend korrelativ und stammen vom jeweiligen Herausgeber. Standardreferenz. ↩︎

  20. Earned Value Management (EVM). Vergleicht den Wert der tatsächlich erbrachten Leistung mit Plan und Ist-Kosten und leitet daraus Kosten- und Terminindizes ab. Es existieren Arbeiten zur Stabilität des Cost Performance Index ab etwa 20 % Projektfortschritt — das belegt Prognosegüte, nicht Steuerungswirkung. Standardreferenz. ↩︎

  21. Six Sigma. Datengetriebene Verbesserungsmethodik mit DMAIC-Zyklus und Gürtel-Rollensystem, ausgerichtet auf Streuungsreduktion. Zur Verdrängung von Exploration durch Prozessmanagement: Benner & Tushman, Academy of Management Review, 2003. Standardreferenz. ↩︎

  22. Lean / Toyota Production System. Systematische Beseitigung von Verschwendung, Fluss- statt Losfertigung, Ziehprinzip. Operative Wirksamkeit in der Serienfertigung gut dokumentiert; die Übertragung auf Dienstleistung und Softwareentwicklung ist deutlich schwächer belegt. Standardreferenz. ↩︎

  23. Stage-Gate. Produktentwicklung in Phasen mit definierten Freigabepunkten, an denen über Weiterführung entschieden wird. Robert G. Cooper. Die Evidenzbasis stammt überwiegend aus den vom Urheber selbst durchgeführten NewProd-Studien und ist korrelativ. Standardreferenz. ↩︎

  24. STPA / STAMP. Sicherheitsanalyse, die Unfälle nicht als Bauteilausfall, sondern als unzureichende Regelung im Gesamtsystem modelliert. Nancy Leveson, MIT. Vergleichsstudien zeigen Gefährdungen, die eine FMEA nicht findet; die Belege sind überwiegend fallbasiert und nicht unabhängig. Standardreferenz. ↩︎

  25. Agile Softwareentwicklung. Iterative, inkrementelle Entwicklung mit kurzen Rückkopplungsschleifen; Scrum ist die verbreitetste Ausprägung. ✓ Dybå & Dingsøyr, Empirical studies of agile software development: A systematic review, Information and Software Technology, 2008: aus knapp 2.000 verfügbaren Arbeiten erfüllten 36 die Anforderungen an Strenge, Glaubwürdigkeit und Relevanz; Evidenzstärke insgesamt niedrig. ↩︎

  26. Continuous Integration / Trunk-based Development. Häufige Integration aller Änderungen in einen gemeinsamen Hauptzweig mit automatisiertem Build und Test, statt langlebiger Feature-Zweige. Plausibel und teilbelegt; die meistzitierte Quelle ist wiederum die DORA-Korrelation. Standardreferenz. ↩︎

  27. Kano-Modell. Ordnet Produktmerkmale danach, wie sie auf Zufriedenheit wirken: Basismerkmale (fehlen stört, Vorhandensein begeistert nicht), Leistungsmerkmale (linear), Begeisterungsmerkmale (Fehlen stört nicht, Vorhandensein begeistert). Noriaki Kano, 1984. Die Klassifikation ist empirisch tragfähig, die präskriptive Nutzung kaum getestet. Standardreferenz. ↩︎

  28. SAFe (Scaled Agile Framework). Skalierungsframework für große Organisationen mit Ebenen (Team, Programm, Large Solution, Portfolio), Agile Release Trains und PI-Planning. ✓ Putta, Paasivaara & Lassenius, Benefits and Challenges of Adopting the Scaled Agile Framework (SAFe): A Multivocal Literature Review, PROFES 2018: Ausgewertet wurden sechs akademische Studien und 47 nicht begutachtete Fallstudien der SAFe-Urheber; die genannten Geschäftsnutzen — Transparenz, Alignment, Qualität, Time-to-Market, Vorhersagbarkeit, Produktivität — erschienen ausschließlich in den Fallstudien, nicht in den akademischen Arbeiten. ✓ Ergänzend zur Forschungslage: “zur Etablierung wissenschaftlicher Evidenz besteht starker Bedarf an weiterer empirischer Forschung zu Nutzen und Herausforderungen von SAFe” (ebd.). ↩︎

  29. LeSS, Nexus, Scrum@Scale, Spotify Model. Alternative Skalierungsansätze unterschiedlicher Komplexität. ✓ Zur Vergleichslage: “Bis heute hat keine Studie Agile-Skalierungsansätze systematisch anhand eines einheitlichen empirischen Maßes verglichen” — Do Agile Scaling Approaches Make A Difference? An Empirical Comparison of Team Effectiveness Across Popular Scaling Approaches, arXiv 2310.06599, 2023. ✓ Zur Literaturqualität: In einer Übersicht zu großskaligen Agile-Frameworks waren 90 % der einbezogenen Arbeiten Erfahrungsberichte (Implementing Large-Scale Agile Frameworks: Challenges and Recommendations, IEEE Software). Anmerkung: Das “Spotify Model” wurde von Spotify selbst nie als Framework gepflegt und intern verlassen. ↩︎

  30. PMBOK, PRINCE2, IPMA. Projektmanagement-Wissensbestände und darauf aufbauende Zertifizierungssysteme. Ein belastbarer Nachweis, dass Anwendung oder Zertifizierung den Projekterfolg erhöht, liegt nicht vor. Standardreferenz. ↩︎

  31. Critical Chain Project Management. Planung entlang der längsten Kette aus Vorgangs- und Ressourcenabhängigkeiten, mit zusammengezogenen Zeitpuffern am Projektende statt Puffern je Vorgang. Eliyahu Goldratt, 1997. Unabhängige empirische Prüfung praktisch nicht vorhanden. Standardreferenz. ↩︎

  32. OKR (Objectives and Key Results). Quartalsweise gesetzte qualitative Ziele mit je drei bis fünf messbaren Schlüsselergebnissen. Andy Grove/Intel, verbreitet über John Doerr. Die dahinterliegende Zielsetzungstheorie ist bestbelegt (Fußnote 14); OKR als Verfahrenspaket wurde nie kontrolliert getestet. Standardreferenz. ↩︎

  33. Balanced Scorecard. Kennzahlensystem über vier Perspektiven (Finanzen, Kunde, interne Prozesse, Lernen). Kaplan & Norton, 1992. Evidenz fallbasiert. Standardreferenz. ↩︎

  34. Design Thinking. Iterativer, nutzerzentrierter Problemlöseansatz aus Empathie, Problemdefinition, Ideenfindung, Prototyp und Test. Keine kontrollierte Evidenz für Ergebnisüberlegenheit gegenüber Alternativen. Standardreferenz. ↩︎

  35. Business Model Canvas. Neunfeldriges Schema zur Darstellung eines Geschäftsmodells. Osterwalder & Pigneur, 2010. Ein Darstellungsformat; ein Wirkungsanspruch wurde nie geprüft. Standardreferenz. ↩︎

  36. Holacracy. Organisationsmodell ohne klassische Führungshierarchie, mit Rollen, Kreisen und formalisierten Governance-Sitzungen. Brian Robertson. Keine Wirksamkeitsevidenz, dokumentierte Rücknahmen bei prominenten Anwendern. Standardreferenz. ↩︎

  37. Story Points, Velocity, Planning Poker, Function Points, COCOMO. Relative bzw. parametrische Aufwandsschätzverfahren. Magne Jørgensen und Kollegen zeigen über eine Reihe von Arbeiten, dass formale Schätzmodelle das Expertenurteil nicht konsistent schlagen und dass die Verfahren selbst anfällig für Ankereffekte sind — die zuerst genannte Zahl verzerrt die Schätzung unabhängig von ihrer Herkunft. Siehe u. a. Jørgensen & Shepperd, A Systematic Review of Software Development Cost Estimation Studies, IEEE TSE, 2007. Standardreferenz. ↩︎ ↩︎

  38. Value Stream Mapping, Toyota Kata, Kaizen-Events. Visualisierung des Wertstroms bzw. strukturierte Verbesserungsroutinen. Evidenz fallbasiert. Standardreferenz. ↩︎

  39. ITIL. Praxissammlung für IT-Service-Management (Incident, Problem, Change, Configuration Management). Keine rigorose Wirksamkeitsforschung. Standardreferenz. ↩︎

  40. Beyond Budgeting. Verzicht auf die feste Jahresbudgetierung zugunsten rollierender Prognosen und relativer Zielsetzung. Argumentativ begründet, nicht empirisch geprüft. Standardreferenz. ↩︎

  41. QFD (Quality Function Deployment). Übersetzt Kundenanforderungen über eine Matrixkette in technische Merkmale und Prozessparameter; die erste Matrix heißt House of Quality. Yoji Akao, 1960er. ✓ Griffin, Evaluating QFD’s Use in US Firms as a Process for Developing Products, Journal of Product Innovation Management 9(3), 1992: Feldstudie über 35 Projekte, nur relativ geringe kurzfristige messbare Effekte auf die Entwicklungsperformance; möglicher langfristiger Effekt auf das Entwicklungsklima. ✓ Zur Aufgabequote im Westen: Viele westliche Unternehmen haben QFD aus Frustration aufgegeben oder überdenken die Praxis grundlegend; Kosten, Komplexität und erforderliches Commitment übersteigen die verfügbaren Ressourcen (Ford-Erhebung, benchmarked gegen einen MIT-Survey von 1991 mit 100 US-Unternehmen). ↩︎

  42. FMEA-Risikoprioritätszahl (RPN). Produkt aus Schwere, Auftretenswahrscheinlichkeit und Entdeckungswahrscheinlichkeit, jeweils auf einer Skala von 1 bis 10. Alle drei sind ordinale Urteile; ihr Produkt ist mathematisch nicht interpretierbar, mehrfach belegt und rangfolgeinstabil. Der AIAG-VDA-FMEA-Handbuchstand von 2019 hat die RPN durch die Aufgabenpriorität (AP) ersetzt. Standardreferenz — Handbuch vor Veröffentlichung prüfen. ↩︎

  43. House of Quality, 1-3-9-Rechnung. Kundenanforderungen werden gewichtet, ihre Beziehung zu technischen Merkmalen mit 1 (schwach), 3 (mittel) oder 9 (stark) bewertet, dann multipliziert und spaltenweise summiert. ✓ Zur methodischen Kritik: Die Standard-Priorisierung enthält eine willkürliche numerische Umsetzung der Beziehungen sowie deren “Beförderung” von ordinaler auf kardinale Skala (A new method to prioritize the QFDs’ engineering characteristics inspired by the Law of Comparative Judgment, Research in Engineering Design, 2024). ✓ Zur Skalenabhängigkeit: Robustheitsanalysen zeigen signifikante Rangumkehrungen bei ansonsten konsistenter Beziehungsmatrix (Engineering characteristics prioritisation in QFD using ordinal scales: A robustness analysis, 2018). ✓ Zur Skalenwillkür: In einer Stichprobe von 30 zufällig gewählten publizierten QFD-Anwendungen fanden sich verschiedene Skalen — 17 mit 1–3–9, fünf mit 1–3–5, der Rest abweichend (Park & Kim, Determination of an optimal set of design requirements using house of quality, Journal of Operations Management, 1998). ✓ Zum Eingeständnis der eigenen Institution: Das QFD Institute schreibt, Ordinalzahlen trügen für Addition, Subtraktion, Multiplikation und Division nicht genug Information, nur Ratio-Skalen dürften verwendet werden, und AHP sei die von Akao seit 1987 empfohlene Methode (qfdi.org, Redecorate your House of Quality). ↩︎

  44. Taguchi-Methoden. Robuste Auslegung durch Unterscheidung von Steuer- und Störgrößen; die Bewertung erfolgt über Signal-Rausch-Verhältnisse. Der versuchsplanerische Kern ist gültig; die spezifischen S/N-Kennzahlen wurden von Statistikern fundiert zurückgewiesen — siehe die Panel-Diskussion in Nair (Hrsg.), Taguchi’s Parameter Design: A Panel Discussion, Technometrics 34(2), 1992. Standardreferenz. ↩︎

  45. CAPM (Capital Asset Pricing Model). Erwartete Rendite eines Wertpapiers als lineare Funktion seines Marktrisikos (Beta). In seiner empirisch testbaren Form weitgehend zurückgewiesen; siehe Fama & French, The Capital Asset Pricing Model: Theory and Evidence, Journal of Economic Perspectives, 2004. Standardreferenz. ↩︎

  46. Root Cause Analysis / 5 Why. Wiederholtes Nachfragen nach dem “Warum”, bis eine Grundursache identifiziert ist. Die Annahme einer einzelnen Grundursache passt nicht zu Systemen mit mehreren interagierenden Faktoren; die Patientensicherheitsforschung ist entsprechend kritisch, siehe u. a. Peerally et al., The problem with root cause analysis, BMJ Quality & Safety, 2017. Standardreferenz. ↩︎

  47. WHO Surgical Safety Checklist. Neunzehnpunktige Checkliste, die vor Narkoseeinleitung, vor Schnitt und vor Verlassen des OP im Team laut durchgegangen wird. Ursprungsstudie: Haynes et al., New England Journal of Medicine, 2009. ✓ Populationsstudie: Urbach, Govindarajan, Saskin, Wilton & Baxter, Introduction of Surgical Safety Checklists in Ontario, Canada, New England Journal of Medicine 370(11), 2014, S. 1029–1038: 101 Krankenhäuser, 109.341 Eingriffe im Dreimonatszeitraum vor und 106.370 nach Einführung; adjustierte operative Sterblichkeit 0,71 % vorher gegenüber 0,65 % nachher; keine signifikante Reduktion bei Sterblichkeit, Komplikationen, Notaufnahmebesuchen oder Wiederaufnahmen; stratifizierte Analysen fanden keine Untergruppe mit signifikantem Effekt. ✓ Zur Rezeption: Die Autoren halten fest, dass ihre Methodik mit derjenigen der Studien identisch war, die große Vorteile gezeigt hatten, und dass die Kritik überwiegend mangelhafte Umsetzung als Ursache unterstellte (Urbach & Baxter, Adoption of Surgical Safety Checklists in Ontario, Canada: Overpromised or Underdelivered?, Healthcare Quarterly, 2014). Anmerkung für Ausgewogenheit: Andere Populationsstudien, etwa aus Schottland, fanden Effekte — der Befund ist heterogen, nicht eindeutig negativ. ↩︎