Ein KI-Test sagt nicht, wie lange KI allein arbeiten kann
Eigene Einordnung: Ein guter KI-Test ist noch keine Freigabe für den Alltag.
Wichtigstes vorab
Eigene Einordnung: Ein guter KI-Test ist noch keine Freigabe für den Alltag.
Prüfen Sie, was ein KI-Test tatsächlich misst
Legen Sie vor dem Einsatz fest, welche Fehlerquote vertretbar ist
Testen Sie schwierige Aufgaben getrennt vom Durchschnitt
Sparen Sie KI-Kosten nur, wenn die nötige Qualität erhalten bleibt
Klären Sie, welche Kontrolle vor einer folgenreichen KI-Handlung greift
Was ist heute neu
Neues Signal: Gleich große Sprünge einer KI-Zeitkennzahl können unterschiedlich große Leistungsgewinne bedeuten
Bestätigung: Für KI im Alltag zählen Aufgaben, benötigte Qualität und wirksame Kontrollen gemeinsam
Widerspruch: In einer Simulation können niedrigere Kosten mit weniger gelösten schwierigen Aufgaben einhergehen
Trendstatus: Keine belegte Beschleunigung, keine allgemeine Abschwächung und kein echter Trendbruch
Top 3
1. On the estimation and validity of KI time horizons---a statistical look at the METR plot
Drew T. Nguyen, William Fithian | UC Berkeley / arXiv | 2026-10-08 | Originalquelle
Quellenbefund: Die neue Auswertung zeigt: Gleich große Sprünge der METR-Zeitkennzahl können unterschiedlich große Leistungsgewinne bedeuten. Bei Aufgaben mit zwei bis 30 Minuten menschlicher Bearbeitungszeit verändert sich die geschätzte Schwierigkeit wenig. Die 50-Prozent-Kennzahl beschreibt die menschliche Dauer von Aufgaben, die KI mit etwa 50 Prozent Wahrscheinlichkeit löst. Sie misst nicht, wie lange KI verlässlich allein arbeiten kann.
Methode und Qualität: Statistische Neuauswertung von 228 Softwareaufgaben und 26 KI-Systemen. Flexiblere Modelle werden mit fünf getrennten Testgruppen verglichen. Ihre zusammengefassten Vorhersagen sind besser; einzelne Modellvergleiche bleiben unsicher.
Grenzen: Noch nicht begutachtet. Softwareaufgaben bilden Unternehmensarbeit nicht vollständig ab. Die Autoren stellen den beobachteten exponentiellen Fortschritt ausdrücklich nicht infrage. Keine kommerzielle Finanzierung in der gelesenen Danksagung ausgewiesen.
Eigene Einordnung: Eine Fortschrittskennzahl ist keine Freigabe für einen Arbeitsablauf. Vor dem Einsatz muss geprüft werden, welche Aufgaben die KI mit der erforderlichen Zuverlässigkeit löst.
Was Unternehmen tun können: Vor dem Pilot festlegen, welche Fehlerquote akzeptabel ist. Aufgaben nach Art und Schwierigkeit getrennt testen. Die Dauer einer menschlichen Aufgabe nicht mit der autonomen Arbeitsdauer der KI verwechseln.
Zuerst lesen: Abbildung 1, Abschnitte 3.2 und 3.3 zur Bedeutung der Kennzahl, dann Diskussion
Quellenbefund: Nur 22 Prozent würden KI-Agenten in der Cyberabwehr ohne menschliche Zustimmung handeln lassen. 55 Prozent nennen Zuverlässigkeit und technische Reife als eines der drei größten Hindernisse für mehr Autonomie. 44 Prozent der Sicherheitschefs nennen fehlende Fähigkeiten für KI-Aufsicht und Steuerung.
Methode und Qualität: Befragung von 3.934 Führungskräften aus Wirtschaft und Technik in 71 Ländern, Mai bis Juli 2026. 36 Prozent arbeiten in Unternehmen mit mindestens fünf Milliarden US-Dollar Umsatz. Große internationale Stichprobe, aber Selbstauskünfte.
Grenzen: Die Autonomiefrage betrifft Cyberabwehr, nicht alle KI-Anwendungen. Die Antworten zeigen Bereitschaft und wahrgenommene Hindernisse, keine gemessene Wirksamkeit. PwC verkauft Beratungs- und Sicherheitsleistungen.
Eigene Einordnung: Mehr Autonomie braucht passende Kontrollen und Menschen, die eingreifen können. Ein pauschales Ziel wie 'mehr autonome Agenten' ist dafür zu grob.
Was Unternehmen tun können: Für jede erlaubte Handlung klären, was bei einem Fehler passieren kann, wer sie freigibt und welche unabhängige Kontrolle vor der Ausführung greift.
Zuerst lesen: 'KI for security: Unlocking KI’s defensive potential', anschließend 'About the survey'
Quellenbefund: In der Simulation sparen Regeln für geprüfte Lösungen je Kosten mehr Rechenaufwand als Regeln für möglichst viel Rechenaufwand. Korrekte Lösungen nehmen jedoch nicht durchgängig zu. Bei schwierigen Softwareaufgaben kann frühes Abbrechen die Erfolgsquote senken.
Methode und Qualität: KI simuliert sowohl die Ausführung als auch Beschäftigte, die Aufgaben steuern. Software- und Mathematiktests; der zentrale paarweise Softwarevergleich umfasst nur 13 unabhängige Aufgaben. Unsicherheit wird auf Aufgabenebene berechnet.
Grenzen: Keine Studie mit menschlichen Beschäftigten. Die Regeln ändern Ziel und Vorgehen gemeinsam. Eine reine Zieländerung zeigt keinen präzise belegten Vorteil. Kalkulierte Gewinne sind keine beobachteten Unternehmensgewinne. Eine Autorenaffiliation ist Amazon.
Eigene Einordnung: Niedrigere KI-Kosten sind erst dann ein Erfolg, wenn die erforderliche Qualität erhalten bleibt. Ein guter Durchschnitt kann Ausfälle bei schwierigen Aufgaben verdecken.
Was Unternehmen tun können: Kosten je richtig abgeschlossener Aufgabe messen. Schwierige Fälle separat prüfen. Wiederholungen, menschliche Prüfung und Nacharbeit mitrechnen.
Zuerst lesen: Tabelle 1 und Anhang C.1.1; C.1.2 zur begrenzten Aussage einer reinen Zieländerung
Eigene Einordnung auf Basis der verknüpften Quellen. Hohe Sicherheit der Einordnung gilt den wiederkehrenden Grundprinzipien, nicht den einzelnen neuen Preprints. Neue Quellen verändern die bisherigen Konfidenzen nicht.
Thema
Richtung
Sicherheit der Einordnung
Evidenz über die Zeit
Praktische Folge
Den ganzen Ablauf testen
Bestätigt und präzisiert
hoch
EnterpriseVal (18.09.) und WorkWorlds (23.09.), heute METR-Neuauswertung (08.10.)
Eigene Aufgaben und nötige Zuverlässigkeit prüfen
Bessere Ergebnisse statt mehr Aktivität
Bestätigt; neues Gegensignal
hoch für das Grundprinzip
McKinsey (21.08.), Culture Amp (17.09.), heute Token-Max (05.10.)
Kosten und Qualität schwieriger Fälle getrennt messen
Kontrollen müssen im Alltag greifen
Bestätigt
hoch für das Grundprinzip
Linux Foundation (September), EY (15.09.), heute PwC (01.10.)
Vor jeder erlaubten Handlung Fehlerfolgen und Kontrolle klären
Die übrigen zehn Trends bleiben unverändert: trend-tracker. Nutzung, bessere Ergebnisse, finanzieller Wert und dauerhafte Einbettung werden weiter getrennt bewertet.
Quellen
On the estimation and validity of AI time horizons---a statistical look at the METR plot
Drew T. Nguyen, William Fithian · UC Berkeley / arXiv · 08.10.2026 · nicht begutachtet
Drew T. Nguyen, William Fithian | UC Berkeley / arXiv | 2026-10-08
Die neue Auswertung zeigt: Gleich große Sprünge der METR-Zeitkennzahl können unterschiedlich große Leistungsgewinne bedeuten. Bei Aufgaben mit zwei bis 30 Minuten menschlicher Bearbeitungszeit verändert sich die geschätzte Schwierigkeit wenig. Die 50-Prozent-Kennzahl beschreibt die menschliche Dauer von Aufgaben, die KI mit etwa 50 Prozent Wahrscheinlichkeit löst. Sie misst nicht, wie lange KI verlässlich allein arbeiten kann.
Methode und Aussagekraft
Statistische Neuauswertung von 228 Softwareaufgaben und 26 KI-Systemen. Flexiblere Modelle werden mit fünf getrennten Testgruppen verglichen. Ihre zusammengefassten Vorhersagen sind besser; einzelne Modellvergleiche bleiben unsicher.
Grenzen und mögliche Verzerrungen
Noch nicht begutachtet. Softwareaufgaben bilden Unternehmensarbeit nicht vollständig ab. Die Autoren stellen den beobachteten exponentiellen Fortschritt ausdrücklich nicht infrage. Keine kommerzielle Finanzierung in der gelesenen Danksagung ausgewiesen.
Eigene Einordnung
Eine Fortschrittskennzahl ist keine Freigabe für einen Arbeitsablauf. Vor dem Einsatz muss geprüft werden, welche Aufgaben die KI mit der erforderlichen Zuverlässigkeit löst.
Was Unternehmen tun können
Testen Sie die KI mit Aufgaben aus Ihrem Unternehmen. Legen Sie vorher fest, welche Fehler akzeptabel sind und wann ein Mensch eingreifen muss.
Zuerst lesen
Abbildung 1, Abschnitte 3.2 und 3.3 zur Bedeutung der Kennzahl, dann Diskussion
Nur 22 Prozent würden KI-Agenten in der Cyberabwehr ohne menschliche Zustimmung handeln lassen. 55 Prozent nennen Zuverlässigkeit und technische Reife als eines der drei größten Hindernisse für mehr Autonomie. 44 Prozent der Sicherheitschefs nennen fehlende Fähigkeiten für KI-Aufsicht und Steuerung.
Methode und Aussagekraft
Befragung von 3.934 Führungskräften aus Wirtschaft und Technik in 71 Ländern, Mai bis Juli 2026. 36 Prozent arbeiten in Unternehmen mit mindestens fünf Milliarden US-Dollar Umsatz. Große internationale Stichprobe, aber Selbstauskünfte.
Grenzen und mögliche Verzerrungen
Die Autonomiefrage betrifft Cyberabwehr, nicht alle KI-Anwendungen. Die Antworten zeigen Bereitschaft und wahrgenommene Hindernisse, keine gemessene Wirksamkeit. PwC verkauft Beratungs- und Sicherheitsleistungen.
Eigene Einordnung
Mehr Autonomie braucht passende Kontrollen und Menschen, die eingreifen können. Ein pauschales Ziel wie 'mehr autonome Agenten' ist dafür zu grob.
Was Unternehmen tun können
Klären Sie für jede erlaubte KI-Handlung, welche Fehlerfolgen möglich sind, wer sie freigibt und welche Kontrolle vor der Ausführung greift.
Zuerst lesen
'KI for security: Unlocking KI’s defensive potential', anschließend 'About the survey'
In der Simulation sparen Regeln für geprüfte Lösungen je Kosten mehr Rechenaufwand als Regeln für möglichst viel Rechenaufwand. Korrekte Lösungen nehmen jedoch nicht durchgängig zu. Bei schwierigen Softwareaufgaben kann frühes Abbrechen die Erfolgsquote senken.
Methode und Aussagekraft
KI simuliert sowohl die Ausführung als auch Beschäftigte, die Aufgaben steuern. Software- und Mathematiktests; der zentrale paarweise Softwarevergleich umfasst nur 13 unabhängige Aufgaben. Unsicherheit wird auf Aufgabenebene berechnet.
Grenzen und mögliche Verzerrungen
Keine Studie mit menschlichen Beschäftigten. Die Regeln ändern Ziel und Vorgehen gemeinsam. Eine reine Zieländerung zeigt keinen präzise belegten Vorteil. Kalkulierte Gewinne sind keine beobachteten Unternehmensgewinne. Eine Autorenaffiliation ist Amazon.
Eigene Einordnung
Niedrigere KI-Kosten sind erst dann ein Erfolg, wenn die erforderliche Qualität erhalten bleibt. Ein guter Durchschnitt kann Ausfälle bei schwierigen Aufgaben verdecken.
Was Unternehmen tun können
Messen Sie Kosten je richtig abgeschlossener Aufgabe. Rechnen Sie Wiederholungen, menschliche Prüfung und Nacharbeit mit und betrachten Sie schwierige Fälle getrennt.
Zuerst lesen
Tabelle 1 und Anhang C.1.1; C.1.2 zur begrenzten Aussage einer reinen Zieländerung
