AutoBuddy: Evaluating Proactive, Always-On Agents on Task Discovery and Execution in a Simulated Workplace
Shiqi Chen, Daniel Madrigal Diaz, Wei-Ning Chen, Gbola Afonja u. a. · Microsoft / arXiv · 09.11.2026
Quellenbefund
Von 4.943 Bearbeitungen zuvor gefundener Aufgaben erhielten 49,8 Prozent die volle Punktzahl. Die übrigen 50,2 Prozent umfassten Rückfragen, unvollständige Inhalte, falsche Ziele und andere Abweichungen.
Eigene Einordnung
Aufgaben zu erkennen und richtig auszuführen sind getrennte Prüfungen. Eine Liste gefundener Arbeit belegt noch kein erledigtes Ergebnis.
Methode und Evidenzqualität
Eine simulierte Organisation mit 44 Beschäftigten über sechs Monate, 94 Personentage und 120 Aufgaben. 17 Modelle wurden mit demselben Agenten jeweils dreimal geprüft. Die Ausführung wurde anhand tatsächlicher Änderungen und gelieferter Inhalte bewertet. Mittlere Evidenz für diesen Test.
Grenzen und Interessen
Eine einzige synthetische Organisation, kein Feldtest. Die 4.943 Bearbeitungen wiederholen Aufgaben über Modelle und Läufe. Keine allgemeine Fehlerquote; Rückfragen können im Betrieb sinnvoll sein. Nicht begutachtete Vorabveröffentlichung von Microsoft-Forschenden mit Anbieterinteresse.
Was Unternehmen tun können
Prüfen Sie getrennt, welche Aufgaben der Agent findet und was er tatsächlich verändert. Kontrollieren Sie Empfänger, Datensätze und Inhalt, bevor Sie ihm mehr Rechte geben.
Zuerst lesen
Abschnitt 3.2 zur Bewertung, 5.1 zum Aufbau und 5.3 mit Abbildung 4b zu Ausführungsfehlern.