Ausführliche Einordnung und Quellen
Ein Mensch im Kontrollprozess ist noch keine Kontrolle.
Er muss den wichtigen Fehler auch ohne die KI erkennen können.
Das Wichtigste in einer Minute
- Ein menschlicher Prüfer schützt nur, wenn er Fehler auch ohne KI erkennt
- Automatisierung kann genau die Übung verdrängen, die im Ausfall gebraucht wird
- Testen Sie Prüfer regelmäßig ohne KI-Hilfe
- Prüfen Sie KI-Versprechen auf konkrete Belege, Messmethode und genannte Grenzen
- Ein guter Durchschnitt ersetzt weder einen Mindestwert noch einen Notfallplan
Was ist heute neu
- Neues Signal: Ein besserer automatischer Prüfer kann im Modell die menschliche Prüffähigkeit schwächen
- Bestätigung: Menschliche Aufsicht braucht getestete Fähigkeiten, nicht nur eine Rolle im Ablauf
- Produktiver Widerspruch: Bessere tägliche Ergebnisse können mit schwächerer Leistung im Ausfall einhergehen
- Kein Trendbruch: Die neuen Quellen stützen die bisherigen Linien zu Kontrolle, Lernen und belastbaren Tests. Die Stärke der Trends bleibt gleich
Quellen
1. Maintaining Human Verification Capacity under Automation
Li Gan und Eric Gan, arXiv, 29. September 2026
Originalquelle
Quellenbefund: In einem theoretischen Modell kann bessere automatische Prüfung die tägliche Fehlererkennung steigern und zugleich den Anreiz senken, menschliche Prüffähigkeit zu erhalten. Die starken Unterschiede während eines Ausfalls stammen aus einer Beispielsimulation. Sie sind keine gemessenen Unternehmenswerte.
Eigene Einordnung: Ein Mensch im Ablauf ist nur dann eine Absicherung, wenn er den festgelegten Fehler auch ohne die KI erkennen kann.
Methode und Qualität: Signalentdeckungsmodell, dynamisches Investitionsmodell, Beispielsimulation und ergänzende Beobachtungen aus sicherheitskritischen Bereichen. Noch nicht begutachtet. Evidenzniveau: explorativ.
Grenzen: Das Modell vereinfacht unbekannte Fehler, Teamarbeit und Personalwechsel. Die Beobachtungsdaten belegen keinen eindeutigen Kompetenzverlust durch KI.
Was Unternehmen tun können: Fehlererkennung ohne KI, regelmäßige Übung, Zeit bis zum Wiederaufbau und unabhängigen Notfallweg prüfen.
Zuerst lesen: Abschnitt 1, Tabelle 1, Abschnitt 7 mit Tabelle 2 und Schlussfolgerung.
2. Auditing KI-Washing in German Startups
A Pranav, Luke Hartmann und Anne Lauscher, AIES 2026 / arXiv, 8. Oktober 2026
Originalquelle
Quellenbefund: Bei 59 von 100 deutschen Start-ups blieb die Beschreibung der KI bei Schlagworten oder sehr oberflächlichen Aussagen. Bei 40 war KI in der Werbung wichtiger als im sichtbaren Produkt. Ergänzende Interviews zeigen verbreitete Skepsis gegenüber solchen Aussagen.
Eigene Einordnung: KI-Washing beginnt dort, wo Versprechen schneller wachsen als prüfbare Belege.
Methode und Qualität: Systematische Prüfung öffentlicher Aussagen, Produktvorführungen und kostenloser Tests mit hoher Übereinstimmung zwischen zwei Codierern. Dazu 63 Interviews. Für AIES 2026 angenommen. Evidenzniveau: mittel.
Grenzen: Nur deutsche Start-ups und öffentliche Informationen. Keine Messung der langfristigen Produktleistung und keine rechtliche Bewertung.
Was Unternehmen tun können: Vor Auswahl oder Investition drei Dinge belegen lassen: konkrete Funktion, Messmethode und Grenzen.
Zuerst lesen: Codierverfahren, Finding 1 sowie Diskussion und Empfehlungen.
Trendfortschreibung
| Thema |
Richtung |
Sicherheit |
Evidenz über die Zeit |
Folge für Diagnostik |
| Menschliche Kontrolle im Betrieb |
weiter verstärkt |
hoch |
Von Prüfaufwand und Trefferquote zur erhaltenen Prüffähigkeit ohne KI |
Prüfer ohne KI testen und Übung nachweisen |
| Lernen und bleibende Fähigkeiten |
präzisiert |
hoch |
Nutzung schafft Fähigkeiten nicht automatisch; Automatisierung kann Übung verdrängen |
Prüfen, welche Fähigkeit erhalten bleiben muss |
| Belastbare KI-Versprechen |
neues Signal |
mittel |
Öffentliche Aussagen deutscher Start-ups sind oft unspezifisch oder übergewichtet |
Funktion, Messmethode und Grenzen belegen lassen |
| Bewertung des ganzen Arbeitsablaufs |
bestätigt |
hoch |
Gute Durchschnittsleistung kann eine schwache Ausfallleistung verdecken |
Mindestleistung und Notfallbetrieb getrennt testen |
Quelle
Maintaining Human Verification Capacity under Automation
Li Gan; Eric Gan · arXiv · 29.09.2026 · nicht begutachtet
Quellenbefund
Die Autoren zeigen in einem theoretischen Modell: Ein besserer automatischer Prüfer kann die tägliche Fehlererkennung verbessern und zugleich den Anreiz senken, menschliche Prüffähigkeit zu erhalten. In ihrer beispielhaften Simulation steigt die Fehlererkennung bei funktionierender Automatisierung von 86,8 auf 99,3 Prozent. Fällt die Automatisierung nach langer Zeit aus, sinkt die Erkennung im Modell jedoch von 75,0 auf 21,5 Prozent.
Diese Werte sind Rechenergebnisse des Modells. Sie sind keine gemessenen Ausfallquoten. Die Autoren ergänzen das Modell um Beobachtungen aus Medizin, Luftfahrt und Kerntechnik. Besonders wichtig ist ihr Unterschied zwischen guter Leistung im Durchschnitt und der Mindestleistung während eines Ausfalls.
Eigene Einordnung
Ein Mensch im Kontrollprozess ist noch keine wirksame Kontrolle. Unternehmen brauchen Belege, dass Prüfer den festgelegten Fehler auch ohne die KI erkennen können. Diese Fähigkeit muss durch regelmäßige Übung erhalten bleiben.
Methode und Aussagekraft
Das Paper verbindet ein Signalentdeckungsmodell, ein dynamisches Investitionsmodell und eine beispielhafte Simulation. Hinzu kommen Beobachtungsdaten und bestehende Regeln aus sicherheitskritischen Bereichen. Die vorgeschlagenen Messgrößen sind praktisch nutzbar, aber noch nicht als Diagnoseverfahren getestet.
Evidenzniveau: exploratory. Der Mechanismus ist klar hergeleitet. Die Größe des Effekts ist nicht empirisch belegt.
Grenzen und mögliche Verzerrungen
- Noch nicht begutachtetes Arbeitspapier
- Die Simulation nutzt festgelegte Annahmen und liefert keine Marktwerte
- Die medizinischen Beobachtungsdaten trennen möglichen Kompetenzverlust nicht sauber von weniger Aufmerksamkeit oder anderer Fallauswahl
- Das Modell bildet unbekannte Fehler, Teamkoordination und Personalwechsel nur begrenzt ab
- Menschliche Prüfung hilft nur, wenn sie tatsächlich eine unabhängige Information liefert
Was Unternehmen tun können
Lassen Sie Beschäftigte regelmäßig Fehler ohne KI erkennen. Legen Sie für kritische Abläufe fest, wie die Arbeit bei einem KI-Ausfall sicher weitergeht oder pausiert.
Zuerst lesen
Abschnitt 1, Tabelle 1, Abschnitt 7 mit Tabelle 2 und die Schlussfolgerung.
Verknüpfungen
- refines Runtime Governance and Human Oversight
- refines Organization Capital and Learning Loops
- creates Verification Capacity Reserve
- updates Verification Capacity Review
Originalstudie öffnen ↗