Ein Mensch im Kontrollprozess ist noch keine Kontrolle.
Ein Mensch im Kontrollprozess ist noch keine Kontrolle.
Er muss den wichtigen Fehler auch ohne die KI erkennen können.
Das Wichtigste in einer Minute
Ein menschlicher Prüfer schützt nur, wenn er Fehler auch ohne KI erkennt
Automatisierung kann genau die Übung verdrängen, die im Ausfall gebraucht wird
Testen Sie Prüfer regelmäßig ohne KI-Hilfe
Prüfen Sie KI-Versprechen auf konkrete Belege, Messmethode und genannte Grenzen
Ein guter Durchschnitt ersetzt weder einen Mindestwert noch einen Notfallplan
Was ist heute neu
Neues Signal: Ein besserer automatischer Prüfer kann im Modell die menschliche Prüffähigkeit schwächen
Bestätigung: Menschliche Aufsicht braucht getestete Fähigkeiten, nicht nur eine Rolle im Ablauf
Produktiver Widerspruch: Bessere tägliche Ergebnisse können mit schwächerer Leistung im Ausfall einhergehen
Kein Trendbruch: Die neuen Quellen stützen die bisherigen Linien zu Kontrolle, Lernen und belastbaren Tests. Die Stärke der Trends bleibt gleich
Quellen
1. Maintaining Human Verification Capacity under Automation
Li Gan und Eric Gan, arXiv, 29. September 2026 Originalquelle
Quellenbefund: In einem theoretischen Modell kann bessere automatische Prüfung die tägliche Fehlererkennung steigern und zugleich den Anreiz senken, menschliche Prüffähigkeit zu erhalten. Die starken Unterschiede während eines Ausfalls stammen aus einer Beispielsimulation. Sie sind keine gemessenen Unternehmenswerte.
Eigene Einordnung: Ein Mensch im Ablauf ist nur dann eine Absicherung, wenn er den festgelegten Fehler auch ohne die KI erkennen kann.
Methode und Qualität: Signalentdeckungsmodell, dynamisches Investitionsmodell, Beispielsimulation und ergänzende Beobachtungen aus sicherheitskritischen Bereichen. Noch nicht begutachtet. Evidenzniveau: explorativ.
Grenzen: Das Modell vereinfacht unbekannte Fehler, Teamarbeit und Personalwechsel. Die Beobachtungsdaten belegen keinen eindeutigen Kompetenzverlust durch KI.
Was Unternehmen tun können: Fehlererkennung ohne KI, regelmäßige Übung, Zeit bis zum Wiederaufbau und unabhängigen Notfallweg prüfen.
Zuerst lesen: Abschnitt 1, Tabelle 1, Abschnitt 7 mit Tabelle 2 und Schlussfolgerung.
2. Auditing KI-Washing in German Startups
A Pranav, Luke Hartmann und Anne Lauscher, AIES 2026 / arXiv, 8. Oktober 2026 Originalquelle
Quellenbefund: Bei 59 von 100 deutschen Start-ups blieb die Beschreibung der KI bei Schlagworten oder sehr oberflächlichen Aussagen. Bei 40 war KI in der Werbung wichtiger als im sichtbaren Produkt. Ergänzende Interviews zeigen verbreitete Skepsis gegenüber solchen Aussagen.
Eigene Einordnung: KI-Washing beginnt dort, wo Versprechen schneller wachsen als prüfbare Belege.
Methode und Qualität: Systematische Prüfung öffentlicher Aussagen, Produktvorführungen und kostenloser Tests mit hoher Übereinstimmung zwischen zwei Codierern. Dazu 63 Interviews. Für AIES 2026 angenommen. Evidenzniveau: mittel.
Grenzen: Nur deutsche Start-ups und öffentliche Informationen. Keine Messung der langfristigen Produktleistung und keine rechtliche Bewertung.
Was Unternehmen tun können: Vor Auswahl oder Investition drei Dinge belegen lassen: konkrete Funktion, Messmethode und Grenzen.
Zuerst lesen: Codierverfahren, Finding 1 sowie Diskussion und Empfehlungen.
Trendfortschreibung
Thema
Richtung
Sicherheit
Evidenz über die Zeit
Folge für Diagnostik
Menschliche Kontrolle im Betrieb
weiter verstärkt
hoch
Von Prüfaufwand und Trefferquote zur erhaltenen Prüffähigkeit ohne KI
Prüfer ohne KI testen und Übung nachweisen
Lernen und bleibende Fähigkeiten
präzisiert
hoch
Nutzung schafft Fähigkeiten nicht automatisch; Automatisierung kann Übung verdrängen
Prüfen, welche Fähigkeit erhalten bleiben muss
Belastbare KI-Versprechen
neues Signal
mittel
Öffentliche Aussagen deutscher Start-ups sind oft unspezifisch oder übergewichtet
Funktion, Messmethode und Grenzen belegen lassen
Bewertung des ganzen Arbeitsablaufs
bestätigt
hoch
Gute Durchschnittsleistung kann eine schwache Ausfallleistung verdecken
Mindestleistung und Notfallbetrieb getrennt testen
Quelle
Maintaining Human Verification Capacity under Automation
Li Gan; Eric Gan · arXiv · 29.09.2026 · nicht begutachtet
Quellenbefund
Die Autoren zeigen in einem theoretischen Modell: Ein besserer automatischer Prüfer kann die tägliche Fehlererkennung verbessern und zugleich den Anreiz senken, menschliche Prüffähigkeit zu erhalten. In ihrer beispielhaften Simulation steigt die Fehlererkennung bei funktionierender Automatisierung von 86,8 auf 99,3 Prozent. Fällt die Automatisierung nach langer Zeit aus, sinkt die Erkennung im Modell jedoch von 75,0 auf 21,5 Prozent.
Diese Werte sind Rechenergebnisse des Modells. Sie sind keine gemessenen Ausfallquoten. Die Autoren ergänzen das Modell um Beobachtungen aus Medizin, Luftfahrt und Kerntechnik. Besonders wichtig ist ihr Unterschied zwischen guter Leistung im Durchschnitt und der Mindestleistung während eines Ausfalls.
Eigene Einordnung
Ein Mensch im Kontrollprozess ist noch keine wirksame Kontrolle. Unternehmen brauchen Belege, dass Prüfer den festgelegten Fehler auch ohne die KI erkennen können. Diese Fähigkeit muss durch regelmäßige Übung erhalten bleiben.
Methode und Aussagekraft
Das Paper verbindet ein Signalentdeckungsmodell, ein dynamisches Investitionsmodell und eine beispielhafte Simulation. Hinzu kommen Beobachtungsdaten und bestehende Regeln aus sicherheitskritischen Bereichen. Die vorgeschlagenen Messgrößen sind praktisch nutzbar, aber noch nicht als Diagnoseverfahren getestet.
Evidenzniveau: exploratory. Der Mechanismus ist klar hergeleitet. Die Größe des Effekts ist nicht empirisch belegt.
Grenzen und mögliche Verzerrungen
Noch nicht begutachtetes Arbeitspapier
Die Simulation nutzt festgelegte Annahmen und liefert keine Marktwerte
Die medizinischen Beobachtungsdaten trennen möglichen Kompetenzverlust nicht sauber von weniger Aufmerksamkeit oder anderer Fallauswahl
Das Modell bildet unbekannte Fehler, Teamkoordination und Personalwechsel nur begrenzt ab
Menschliche Prüfung hilft nur, wenn sie tatsächlich eine unabhängige Information liefert
Was Unternehmen tun können
Lassen Sie Beschäftigte regelmäßig Fehler ohne KI erkennen. Legen Sie für kritische Abläufe fest, wie die Arbeit bei einem KI-Ausfall sicher weitergeht oder pausiert.
Zuerst lesen
Abschnitt 1, Tabelle 1, Abschnitt 7 mit Tabelle 2 und die Schlussfolgerung.
