KI-BERATUNG UND AGENTISCHE KI

Genehmigungs-Workflows mit Human-in-the-Loop-Workflow für kritische Entscheidungen

Ein Human-in-the-Loop-Workflow ist ein Genehmigungsablauf, in dem künstliche Intelligenz Vorgänge prüft und aufbereitet, die Entscheidung über kritische Fälle aber bei einer benannten Person bleibt.

  • KI bereitet vor, Menschen entscheiden bei kritischen Fällen
  • Freigabematrix, Eskalationsregeln und Protokoll in Ihren Bestandssystemen
  • Anforderungen aus EU AI Act Artikel 14 und DSGVO Artikel 22 im Blick

Was ist ein Human-in-the-Loop-Workflow?

Ein Human-in-the-Loop-Workflow ist ein Genehmigungsablauf, in dem ein KI-System Vorgänge sammelt, prüft und entscheidungsreif aufbereitet, während eine namentlich zuständige Person die Freigabe erteilt oder verweigert. Der Agent liest den Beleg, gleicht ihn mit Bestellung und Wareneingang ab und markiert Abweichungen. Freigeben darf er ihn nicht. Genau diese Trennung macht den Unterschied zwischen einer bequemen Automatisierung und einer Automatisierung, die vor Aufsichtsbehörde und Wirtschaftsprüfung Bestand hat.

Wir bauen diese Freigabelogik in die Systeme ein, die Sie ohnehin nutzen, statt Ihnen eine neue Plattform zu verkaufen.

Weiterlesen

Was leistet ein Human-in-the-Loop-Workflow im Alltag?

Ein Human-in-the-Loop-Workflow sorgt dafür, dass eine Software Vorschläge liefert, eine Fachkraft aber jede kritische Entscheidung selbst trifft und dokumentiert. Am Beispiel eines Rechnungslaufs bedeutet das: Der Agent liest die Eingangsrechnung, gleicht Betrag und Bestellnummer mit dem Wareneingang ab und schlägt eine Kontierung vor. Auffällige Fälle landen mit Begründung auf dem Bildschirm der Kreditorenbuchhaltung.

Konkret sieht das in SAP MIRO oder in der DATEV Belegfreigabe so aus: Rechnungen unterhalb eines festgelegten Schwellwerts, bei denen Bestellung, Wareneingang und Rechnungsbetrag übereinstimmen, durchlaufen die Prüfung automatisch und werden protokolliert. Weicht der Betrag ab, fehlt ein Wareneingang oder liegt der Betrag über der Freigabegrenze, stoppt der Ablauf. Die Fachkraft sieht dann nicht nur die Rechnung, sondern auch, warum der Agent sie nicht selbst freigegeben hat.

Das Ergebnis ist kein vollautomatischer Rechnungslauf, sondern ein Freigabelauf mit klarer Aufgabenteilung: Der Agent bereitet vor, sortiert und markiert Abweichungen, die Fachkraft entscheidet über Zahlung oder Rückfrage. Für den Alltag heißt das weniger Sucharbeit in drei Postfächern und ein nachvollziehbarer Prüfschritt vor jeder Zahlung, ohne dass die Verantwortung an die Maschine abgegeben wird.

Wann ist ein Human-in-the-Loop-Workflow rechtlich vorgeschrieben?

Verpflichtend wird ein Human-in-the-Loop-Workflow für Hochrisiko-KI-Systeme nach Artikel 14 des EU AI Act, der wirksame menschliche Aufsicht während der gesamten Nutzungsdauer fordert Artikel 14 zur menschlichen Aufsicht. Artikel 26 legt fest, dass Betreiber diese Aufsicht organisatorisch umsetzen müssen. Die Hochrisiko-Pflichten gelten ab dem 2. August 2026, Vorbereitung sollte deutlich früher beginnen.

Artikel 14 unterscheidet dabei nicht nur, ob ein Mensch eingebunden ist, sondern ob die Aufsicht tatsächlich wirksam sein kann: Die Person muss die Ausgabe des Systems verstehen, Grenzen der Zuverlässigkeit kennen und die Möglichkeit haben, eine Entscheidung zu übersteuern oder zu stoppen Artikel 14 zur menschlichen Aufsicht. Ein Freigabebutton ohne echte Prüfmöglichkeit erfüllt diese Anforderung nicht. Parallel dazu greift Artikel 22 der DSGVO, wenn eine automatisierte Entscheidung rechtliche Wirkung entfaltet oder eine Person erheblich beeinträchtigt, etwa bei Kreditvergabe oder Bewerbervorauswahl. In solchen Fällen hat die betroffene Person ein Recht auf menschliches Eingreifen.

Für Unternehmen im Mittelstand ist relevant, dass beide Regelwerke nicht nur für neu entwickelte KI-Systeme gelten, sondern auch für eingekaufte Software, die in Genehmigungsprozesse eingebunden wird. Wer heute schon Freigabeschritte mit KI-Unterstützung plant, sollte die Anforderungen aus Artikel 14 als Konstruktionsprinzip behandeln und nicht als nachträgliche Dokumentationspflicht. Das betrifft insbesondere Bereiche, in denen bereits Automatisierung im Einsatz ist, etwa in Verbindung mit KI-Agenten und Workflow-Automatisierung.

Was kostet ein formal abgezeichneter Freigabeschritt?

Ein Freigabeschritt, der nur pro forma abgezeichnet wird, kostet im Ernstfall ein Bußgeld in Millionenhöhe, weil Aufsichtsbehörden zwischen formaler und wirksamer Prüfung unterscheiden. Die niederländische Datenschutzbehörde verhängte gegen Uber ein Bußgeld von 824.990.000 Euro, unter anderem weil automatisierte Entscheidungen ohne wirksame menschliche Kontrolle getroffen wurden.

Der Fall zeigt, dass eine Unterschrift allein keine Aufsicht ersetzt. Wirksame Prüfung bedeutet, dass die zuständige Person die Grundlage der Entscheidung tatsächlich nachvollzieht, abweichende Fälle erkennt und im Zweifel widerspricht. Wird eine KI-Empfehlung routinemäßig ohne inhaltliche Prüfung bestätigt, spricht man von Automatisierungsbias, und der formale Freigabeschritt verliert seine rechtliche Schutzwirkung.

Der Bußgeldrahmen ist entsprechend hoch angesetzt: Artikel 83 Absatz 5 DSGVO erlaubt bis zu 20 Millionen Euro oder vier Prozent des weltweiten Jahresumsatzes, Artikel 99 des AI Act sieht für Verstöße gegen die Pflicht zur menschlichen Aufsicht bei Hochrisiko-Systemen ähnliche Größenordnungen vor. Für die Praxis heißt das: Ein Human-in-the-Loop-Workflow muss so gestaltet sein, dass die Prüfung inhaltlich möglich bleibt, auch wenn das Volumen hoch ist.

Bußgeldrahmen im Vergleich
RechtsgrundlageBußgeldrahmenBezug zur Aufsicht
DSGVO Artikel 83 Absatz 5bis 20 Mio. Euro oder 4 Prozent des weltweiten JahresumsatzesAutomatisierte Entscheidung ohne wirksame Kontrolle
AI Act Artikel 99bis 35 Mio. Euro oder 7 Prozent des weltweiten JahresumsatzesVerstoß gegen Pflicht zur menschlichen Aufsicht bei Hochrisiko-Systemen
Präzedenzfall Uber (NL-Aufsicht)824.990.000 EuroFehlende wirksame Kontrolle automatisierter Entscheidungen

Wie unterscheiden sich Human-in-the-Loop, Human-on-the-Loop und Human-in-Command?

Die drei Stufen unterscheiden sich darin, wie eng ein Mensch in die einzelne Entscheidung eingebunden ist. Beim Human-in-the-Loop-Prinzip prüft eine Person jeden kritischen Einzelfall vor der Ausführung. Human-on-the-Loop bedeutet, dass der Mensch überwacht und eingreifen kann, aber nicht jeden Fall einzeln freigibt. Human-in-Command legt die grundsätzliche Entscheidungsbefugnis auf strategischer Ebene fest.

Im Mittelstand entspricht das drei unterschiedlichen Einsatzfeldern. Human-in-the-Loop passt zu Vorgängen mit hoher Einzelfallrelevanz, etwa Rechnungen über einem Schwellwert, Vertragsfreigaben oder personalbezogene Vorauswahlen. Human-on-the-Loop eignet sich für Prozesse mit hoher Frequenz und geringem Einzelrisiko, etwa die laufende Überwachung von Produktionsdaten, bei der ein Team Abweichungen im Dashboard sieht und stichprobenartig eingreift. Human-in-Command betrifft die Ebene der Geschäftsführung, die festlegt, in welchen Bereichen ein Agent überhaupt eigenständig vorschlagen oder handeln darf.

Die drei Stufen schließen sich nicht gegenseitig aus, sondern greifen ineinander: Eine Geschäftsführung entscheidet im Sinne von Human-in-Command, welche Prozesse automatisiert werden dürfen. Innerhalb dieses Rahmens legt die Fachbereichsleitung fest, welche Vorgänge Einzelfallprüfung benötigen und welche nur überwacht werden. Diese Zuordnung ist Grundlage jeder Freigabematrix und sollte vor der technischen Umsetzung schriftlich festgehalten werden.

Welche Entscheidungen darf die KI vorbereiten, welche muss ein Mensch treffen?

Die KI darf Entscheidungen vorbereiten, sortieren und mit Begründung versehen. Treffen muss sie ein Mensch, sobald die Entscheidung rechtliche Wirkung entfaltet, einen festgelegten Geldbetrag übersteigt, personenbezogene Daten in sensibler Weise betrifft oder sich nicht ohne Weiteres rückgängig machen lässt. Diese vier Kriterien bilden die Grundlage jedes Human-in-the-Loop-Workflows und lassen sich auf konkrete Schwellwerte im Unternehmen übertragen.

Rechtliche Wirkung liegt etwa bei Vertragsabschlüssen, Kündigungen oder Bewerberabsagen vor, hier greift regelmäßig Artikel 22 DSGVO. Der Geldbetrag ist das gebräuchlichste Kriterium im Zahlungsverkehr: Rechnungen unterhalb eines definierten Schwellwerts mit vollständiger Übereinstimmung von Bestellung und Wareneingang können automatisiert weiterlaufen, alles darüber geht an eine Freigabeperson. Personenbezug wird kritisch, sobald eine Entscheidung Auswirkungen auf einzelne Mitarbeitende oder Kundinnen und Kunden hat, etwa bei Bonitätsprüfungen oder Zugriffsrechten.

Umkehrbarkeit ist das am häufigsten unterschätzte Kriterium. Eine falsch zugeordnete Kategorie in einem internen Bericht lässt sich leicht korrigieren, eine ausgeführte Zahlung oder eine versendete Kündigung nicht. Je schwerer sich eine Handlung rückgängig machen lässt, desto eher gehört sie vor die Ausführung auf den Schreibtisch eines Menschen, unabhängig davon, wie zuverlässig der Agent in der Vergangenheit gearbeitet hat.

Wie entsteht eine belastbare Freigabematrix für Ihren Human-in-the-Loop-Workflow?

Eine belastbare Freigabematrix entsteht, indem die Fachbereichsleitung für jede Vorgangsart einen Schwellwert, eine zuständige Rolle, eine Vertretung, eine Eskalationsstufe und eine Frist festlegt. Erst diese fünf Angaben zusammen machen aus einer allgemeinen Freigaberegel einen Ablauf, der im Tagesgeschäft tatsächlich funktioniert und im Streitfall nachvollziehbar bleibt.

Die Vorgangsart bestimmt den Ausgangspunkt: Eingangsrechnung, Vertragsänderung, Zugriffsrecht oder Personalvorgang haben unterschiedliche Risiken und brauchen eigene Regeln. Der Schwellwert legt fest, ab welchem Betrag oder welcher Abweichung ein Vorgang überhaupt zur Freigabe vorgelegt wird. Die Rolle benennt konkret, wer prüft, etwa die Kreditorenbuchhaltung oder die Teamleitung Einkauf, nicht nur eine Abteilung. Die Vertretung verhindert, dass ein Vorgang bei Abwesenheit liegen bleibt und aus Zeitdruck ungeprüft durchgewunken wird, ein bekannter Auslöser für Genehmigungsmüdigkeit.

Die Eskalationsstufe regelt, was passiert, wenn die zuständige Rolle nicht entscheiden kann oder will, etwa weil der Betrag ihre eigene Freigabegrenze übersteigt. Hier lassen sich bestehende Ticketsysteme wie Jira oder ServiceNow weiterverwenden, um den Vorgang sichtbar an die nächste Ebene zu übergeben. Fristen sorgen dafür, dass eine Skonto-Frist oder eine gesetzliche Bearbeitungszeit nicht durch einen liegen gebliebenen Freigabeschritt verstreicht. Wer diese Struktur zunächst auf Papier durchspielt, bevor sie im System wie Camunda abgebildet wird, erkennt Lücken, bevor sie im laufenden Betrieb zu Verzögerungen führen.

Wie verhindert ein Human-in-the-Loop-Workflow Genehmigungsmüdigkeit?

Ein Human-in-the-Loop-Workflow verhindert Genehmigungsmüdigkeit, indem er die Zahl der vorgelegten Fälle senkt und nur noch die Entscheidungen zur Prüfung bringt, die tatsächlich Ermessen erfordern. Anthropic hat gemessen, dass Nutzer von Claude Code 93 Prozent aller Berechtigungsabfragen bestätigen, ein Wert aus einem Experiment mit 2.784 Teilnehmern 93 Prozent Bestätigungsquote bei Claude Code. Bei dieser Frequenz wird Prüfen zur Reflexbewegung, nicht zur Entscheidung.

Die Konsequenz für die Gestaltung ist eindeutig: weniger Freigaben, dafür wirksame. Ein Genehmigungsworkflow mit KI, der jede kleinste Abweichung zur Bestätigung vorlegt, erzeugt genau die Übersättigung, die Anthropic dokumentiert hat. Wer 93 von 100 Anfragen ohnehin durchwinkt, prüft die verbleibenden sieben nicht gründlicher, sondern mit derselben verminderten Aufmerksamkeit.

Ein durchdachter Human-in-the-Loop-Workflow filtert deshalb vor der Vorlage: Routinefälle innerhalb definierter Grenzwerte laufen automatisiert durch, nur Abweichungen, ungewöhnliche Beträge oder neue Geschäftspartner erreichen die Fachkraft. Das senkt das Prüfvolumen und erhöht gleichzeitig die Trefferquote der verbleibenden Prüfungen, weil jede vorgelegte Entscheidung tatsächlich eine Entscheidung ist und keine Formalie.

Für die Praxis bedeutet das: Die Freigabematrix wird regelmäßig anhand der tatsächlichen Bestätigungsquote überprüft. Liegt sie dauerhaft über neunzig Prozent, ist die Schwelle falsch justiert, nicht die Belegschaft nachlässig.

Wie begrenzen wir Automatisierungsbias bei der Prüfung?

Automatisierungsbias wird begrenzt, indem die Prüfoberfläche den Widerspruchsanlass sichtbar macht statt eine fertige Bewertung. Wer nur ein grünes Häkchen oder eine Konfidenzangabe sieht, übernimmt sie tendenziell ungeprüft. Wer stattdessen die zugrunde liegenden Belege sieht, muss sich selbst ein Urteil bilden.

Konkret heißt das: Statt „Vorschlag: Freigeben, Konfidenz 97 Prozent“ zeigt die Oberfläche den Rechnungsbeleg, den Liefernachweis und die Abweichung zum Bestellwert nebeneinander. Der Agent liefert die Zusammenstellung, die Bewertung bleibt bei der prüfenden Person. Diese Trennung ist keine Kosmetik, sie entscheidet darüber, ob eine Freigabe eine Prüfung ist oder eine Bestätigung einer Maschinenmeinung Manipulation von Vertrauen zwischen Mensch und Agent.

Ein zweiter Baustein ist die Übersteuerungsrate: Wie oft weicht die menschliche Entscheidung vom Systemvorschlag ab? Eine Rate nahe null ist kein Erfolg, sondern ein Warnsignal, dass entweder das System zu gut kalibriert wirkt oder die Prüfung zur Formsache geworden ist. ANCUD IT richtet diese Messung von Anfang an ein, nicht nachträglich als Reparatur.

Ergänzend hilft eine bewusste Variation der Darstellung, etwa durch wechselnde Reihenfolge der Belege oder gelegentliche Kontrollfälle mit bekanntem Ausgang, um die Prüfsorgfalt stichprobenartig zu testen. Das ist kein Misstrauen gegenüber der Belegschaft, sondern ein Werkzeug, um die Oberfläche selbst zu verbessern.

Wie sieht die Eskalation im Human-in-the-Loop-Workflow aus?

Die Eskalation im Human-in-the-Loop-Workflow folgt festen Fristen, klaren Vertretungsregeln und einer definierten Weitergabe an ein Ticketsystem. Reagiert die zuständige Person nicht innerhalb der gesetzten Frist, geht der Fall automatisch an eine Vertretung, danach an eine Eskalationsstufe, niemals in eine automatische Genehmigung.

Technisch wird das an bestehende Vorgangssysteme angebunden: Ein liegen gebliebener Freigabefall erzeugt ein Ticket in Jira oder ServiceNow mit Kontext, Frist und bisherigem Bearbeitungsverlauf. Die Fachabteilung muss keine neue Oberfläche lernen, sie sieht den Vorgang dort, wo sie ohnehin arbeitet.

Wichtig ist der Umgang mit Nichtentscheidung: Ein unbearbeiteter Fall gilt niemals als stillschweigend genehmigt. Läuft eine Frist ab, ohne dass eine Person entschieden hat, bleibt der Vorgang blockiert und wird eskaliert, bis eine Entscheidung mit Namen und Zeitstempel vorliegt. Diese Regel schützt vor der stillen Automatisierung durch Untätigkeit.

Für kritische Fälle, etwa hohe Zahlungsbeträge oder neue Vertragspartner, sind kürzere Fristen und zusätzliche Eskalationsstufen hinterlegt. Die Regeln selbst werden gemeinsam mit der Fachabteilung festgelegt, ANCUD IT liefert die technische Umsetzung, nicht die fachliche Grenzziehung.

Wie wird eine Freigabeentscheidung nachvollziehbar dokumentiert?

Eine Freigabeentscheidung wird nachvollziehbar dokumentiert, indem der Audit-Trail vier Angaben fest verknüpft: die Datenbasis, auf der der Vorschlag beruhte, den Vorschlag selbst, die entscheidende Person mit Zeitpunkt und deren Begründung. Diese vier Elemente ergeben zusammen einen geschlossenen Nachweis, der auch Monate später prüfbar bleibt, etwa bei einer Betriebsprüfung.

Für Rechnungsfreigaben gilt in Deutschland die GoBD, die eine lückenlose, unveränderbare und zeitnahe Protokollierung verlangt. Ein Human-in-the-Loop-Workflow muss diese Anforderung technisch erfüllen, nicht nur behaupten: Jede Änderung am Vorgang wird versioniert, jede Entscheidung ist einer natürlichen Person zugeordnet, keine nachträgliche Bearbeitung ohne Spur.

Auf europäischer Ebene wird diese Protokollierungspflicht künftig durch die Norm EN 18229-1 konkretisiert, die Anforderungen aus Artikel 14 des AI Act zu Logging, Transparenz und menschlicher Aufsicht in technische Vorgaben übersetzt. Ein Freigabesystem, das heute nach diesem Muster protokolliert, ist auf die kommende Normierung vorbereitet, statt sie nachträglich nachrüsten zu müssen Human-in-the-Loop als KI-Prinzip in der Legal Compliance.

In der Praxis bedeutet das für ANCUD-Projekte: Der Audit-Trail ist kein Zusatzmodul, sondern Bestandteil der Grundarchitektur. Die Dokumentation der IT-Service-Prozesse rund um Freigaben und Änderungen lässt sich dabei an bestehende Strukturen des IT Service Management anknüpfen, statt eine separate Protokollwelt aufzubauen.

Wie fügt sich ein Human-in-the-Loop-Workflow in SAP, DATEV und Dynamics 365 ein?

Ein Human-in-the-Loop-Workflow fügt sich in SAP, DATEV und Dynamics 365 ein, indem er die vorhandenen Freigabemasken weiterverwendet statt ersetzt. Die Prüfung findet in SAP MIRO, der DATEV Belegfreigabe oder Business Central mit Document Capture statt, der Agent liefert lediglich den vorbereiteten Vorschlag mit Beleglage in dieses gewohnte Umfeld.

Diese Entscheidung ist bewusst: Fachkräfte, die seit Jahren in SAP oder DATEV arbeiten, sollen keine zusätzliche Oberfläche lernen müssen, nur weil im Hintergrund ein KI-Agent die Vorprüfung übernimmt. Eine neue Freigabe-App parallel zum ERP-System schafft zusätzliche Fehlerquellen und Akzeptanzprobleme, ohne einen erkennbaren Vorteil zu bringen.

Technisch bedeutet das eine Anbindung über vorhandene Schnittstellen: SAP-Workflows werden um einen vorgelagerten Prüfschritt ergänzt, DATEV-Belegflüsse erhalten zusätzliche Metadaten zur Herkunft des Vorschlags, Business Central protokolliert die Freigabe im gewohnten Genehmigungsprotokoll. Der Freigabe-Workflow für KI-Agenten bleibt damit an das System gebunden, das die Buchhaltung ohnehin täglich nutzt.

Für Unternehmen mit individuellen Freigabestrecken außerhalb der Standardmasken, etwa in Fachanwendungen, lassen sich vergleichbare Prüfschritte auch prozessorientiert über eine Bpm-Plattform abbilden, wenn eine bestehende Lösung dafür nicht ausreicht. Der Grundsatz bleibt gleich: bestehende Werkzeuge zuerst prüfen, neue erst dann einführen, wenn eine echte Lücke besteht.

Welche Rolle tragen Sie: Anbieter oder Betreiber?

Mittelständische Unternehmen sind beim Einsatz eines Human-in-the-Loop-Workflows fast immer Betreiber im Sinne des AI Act, nicht Anbieter. Sie setzen ein zugekauftes oder von einem Dienstleister entwickeltes System im eigenen Betrieb ein und tragen damit die Aufsichtspflichten im Alltag, nicht die Pflicht, das System selbst aufsichtsfähig zu konstruieren.

Der Anbieter, im Regelfall der Softwarehersteller oder das beauftragte Beratungsunternehmen, muss das System so gestalten, dass wirksame menschliche Aufsicht technisch überhaupt möglich ist, etwa durch Protokollierung, Abbruchmöglichkeiten und verständliche Vorschläge. Der Betreiber muss diese Möglichkeit im Alltag tatsächlich nutzen: Personal schulen, Fristen einhalten, Eskalationen bearbeiten, Entscheidungen dokumentieren.

Diese Rollentrennung entlastet nicht von Verantwortung, sie konkretisiert sie. Wer als Betreiber einen Human-in-the-Loop-Workflow einsetzt, muss nachweisen können, dass die Aufsicht real stattfindet, nicht nur technisch möglich wäre. Formal abgezeichnete, aber inhaltlich nicht geprüfte Freigaben erfüllen diese Pflicht nicht.

Für die Beauftragung bedeutet das: ANCUD IT klärt zu Beginn eines Projekts, welche Rolle das Unternehmen jeweils einnimmt, und richtet Schulung, Protokollierung und Eskalationswege entsprechend aus. Das gehört zur technischen Bestandsaufnahme, die jedem Projekt vorausgeht.

Welche Kennzahlen zeigen, dass der Human-in-the-Loop-Workflow wirkt?

Ob ein Human-in-the-Loop-Workflow tatsächlich Wirkung zeigt, lässt sich an vier Kennzahlen ablesen: der Übersteuerungsrate, der Bearbeitungsdauer bis zur Entscheidung, dem Anteil eskalierter Fälle und dem Ergebnis von Stichprobenprüfungen. Diese Werte zeigen gemeinsam, ob Menschen noch prüfen oder nur noch abzeichnen. Konkrete Zielwerte lassen sich nicht pauschal vorgeben, sie ergeben sich aus der jeweiligen Prozesslandschaft und werden im Betrieb beobachtet, nicht vorab versprochen.

Die Übersteuerungsrate zeigt, wie oft ein Mensch einer KI-Empfehlung widerspricht oder sie korrigiert. Sinkt sie über Monate ohne erkennbaren fachlichen Grund, kann das auf Automatisierungsbias hindeuten statt auf eine bessere KI. Die Bearbeitungsdauer bis zur Entscheidung zeigt, ob eine Freigabe noch geprüft oder nur noch durchgeklickt wird. Anthropic hat bei Nutzern von Claude Code gemessen, dass 93 Prozent aller Berechtigungsabfragen bestätigt werden, ein Hinweis darauf, wie schnell aus Freigabe reine Formsache wird, wenn das Prüfvolumen zu hoch ist Human in the Loop: Wie KI menschlich wird und automatisiert.

Der Anteil eskalierter Fälle zeigt, ob die Freigabematrix richtig kalibriert ist. Ist er dauerhaft nahe null, prüft die Eskalationsregel möglicherweise nicht mehr streng genug. Stichprobenprüfungen ergänzen die laufenden Werte durch eine unabhängige Nachkontrolle bereits abgeschlossener Fälle und decken auf, ob formale Freigaben inhaltlich Substanz hatten.

Diese Kennzahlen gehören in ein laufendes Monitoring, nicht in einen einmaligen Bericht. Wer den Human-in-the-Loop-Workflow an bestehendes IT Service Management anbindet, kann Auffälligkeiten wie steigende Eskalationszahlen direkt als Vorgang erfassen und nachverfolgen, siehe dazu IT Service Management.

Kennzahlen zur Wirksamkeit eines Human-in-the-Loop-Workflows
KennzahlWas sie zeigtWarnsignal
ÜbersteuerungsrateAnteil der Fälle, in denen ein Mensch die KI-Empfehlung ändert oder ablehntDauerhaft sinkende Rate ohne fachlichen Grund
Bearbeitungsdauer bis EntscheidungZeit, die für die tatsächliche Prüfung aufgewendet wirdEntscheidung in Sekundenbruchteilen bei komplexen Fällen
Anteil eskalierter FälleWie oft die Freigabematrix einen Fall an eine höhere Instanz weiterreichtNahezu null Eskalationen über längere Zeit
StichprobenprüfungNachträgliche, unabhängige Kontrolle abgeschlossener FreigabenAbweichungen zwischen dokumentierter und tatsächlicher Prüftiefe

Welche Risiken bleiben bei einem Human-in-the-Loop-Workflow?

Auch ein sorgfältig eingeführter Human-in-the-Loop-Workflow beseitigt nicht alle Risiken. Fünf Restrisiken bleiben bestehen: Vertrauensmanipulation zwischen Mensch und Agent, Datenlücken bei der Entscheidungsgrundlage, unklare Rollenwechsel, Sammelfreigaben ohne Einzelprüfung und Umgehung über Nebenwege außerhalb des vorgesehenen Prozesses. Wer diese Risiken kennt, kann sie im Betrieb beobachten, statt sie zu ignorieren.

Der OWASP-Katalog für agentische Anwendungen benennt unter dem Punkt ASI09 die Manipulation von Vertrauen zwischen Mensch und Agent als eigenes Risiko: Ein Agent kann durch geschickte Formulierung oder wiederholte korrekte Vorschläge das Vertrauen der prüfenden Person so weit aufbauen, dass diese kritische Fälle nicht mehr sorgfältig liest. Datenlücken entstehen, wenn dem Agenten nicht alle relevanten Informationen vorliegen, die Freigabeoberfläche dies aber nicht transparent macht, sodass der Mensch auf Basis eines unvollständigen Bildes entscheidet.

Rollenwechsel sind riskant, wenn dieselbe Person, die einen Vorgang fachlich bearbeitet hat, ihn anschließend auch freigibt und damit das Vier-Augen-Prinzip faktisch aushebelt. Sammelfreigaben, bei denen mehrere Vorgänge in einem Klick abgezeichnet werden, sparen Zeit, verringern aber die Wahrscheinlichkeit, dass ein einzelner kritischer Fall auffällt. Und Umgehung über Nebenwege bedeutet: Wenn der offizielle Freigabeweg als lästig gilt, finden Mitarbeitende Abkürzungen, etwa direkte Buchungen außerhalb des Systems, die keine Prüfung mehr durchlaufen.

Keines dieser Risiken lässt sich technisch vollständig ausschließen. Sie werden durch Protokollierung sichtbar gemacht, durch Stichproben nachverfolgt und durch klare organisatorische Regeln begrenzt. Ein Human-in-the-Loop-Workflow ist damit kein einmalig abgeschlossenes Projekt, sondern ein Kontrollmechanismus, der regelmäßig überprüft werden muss.

Wie lange dauert die Einführung eines Human-in-the-Loop-Workflows?

Die Einführung eines Human-in-the-Loop-Workflows lässt sich nicht in festen Wochenzahlen versprechen, da sie von der Anzahl der Vorgangsarten, der Systemlandschaft und den vorhandenen Freigabewegen abhängt. Realistisch verläuft sie in drei Phasen: Bestandsaufnahme der bestehenden Freigaben, ein begrenzter Pilot mit einem Vorgangstyp und der schrittweise Übergang in den Regelbetrieb.

In der Bestandsaufnahme wird erfasst, welche Entscheidungen heute wie, von wem und mit welcher Protokollierung getroffen werden, etwa in SAP MIRO, DATEV Belegfreigabe oder einem Ticketsystem. Diese Phase deckt auf, wo bereits Freigabematrizen existieren und wo Nebenwege genutzt werden, die im neuen Workflow geschlossen werden müssen. Ihre Dauer hängt von der Zahl der beteiligten Fachbereiche und der Qualität der vorhandenen Dokumentation ab.

Der Pilot beschränkt sich bewusst auf einen einzelnen, gut abgegrenzten Vorgangstyp, etwa die Freigabe von Rechnungen über einem bestimmten Betrag. In dieser Phase wird die Eskalationsregel in der Praxis getestet, die Übersteuerungsrate beobachtet und die Protokollierung geprüft. Erst wenn sich der Pilot als stabil erweist, wird der Workflow auf weitere Vorgangsarten ausgeweitet.

Der Übergang in den Regelbetrieb hängt von Faktoren ab, die außerhalb der reinen Technik liegen: Schulung der freigebenden Personen, Anpassung bestehender Betriebsvereinbarungen und die Abstimmung mit Datenschutz und Revision. Wer diese Abhängigkeiten früh benennt, vermeidet Verzögerungen, die sonst erst im laufenden Projekt sichtbar werden.

Was kostet ein Human-in-the-Loop-Workflow?

Die Kosten eines Human-in-the-Loop-Workflows lassen sich nicht als fester Betrag nennen, da sie von der Anzahl der Vorgangsarten, der Zahl der anzubindenden Schnittstellen, den Protokollanforderungen und dem laufenden Betrieb abhängen. Statt eines Pauschalpreises steht am Anfang eine technische Bestandsaufnahme, die diese Faktoren für die jeweilige Systemlandschaft konkret ermittelt.

Die Anzahl der Vorgangsarten beeinflusst den Aufwand direkt: Ein einzelner Freigabetyp für Rechnungen ist mit deutlich weniger Regelwerk verbunden als ein Workflow, der zusätzlich Vertragsfreigaben oder Personalentscheidungen abdeckt. Die Zahl der Schnittstellen zu bestehenden Systemen wie SAP MIRO, Dynamics 365 Business Central oder Ticketsystemen wirkt sich auf den Integrationsaufwand aus, besonders wenn mehrere Systeme parallel bedient werden müssen.

Protokollanforderungen sind ein eigener Kostenfaktor: Eine Dokumentation, die GoBD-Anforderungen für Rechnungsprozesse erfüllen muss, verlangt eine andere Sorgfalt als ein internes Freigabeprotokoll ohne externe Prüfpflicht. Hinzu kommen laufende Betriebskosten für Monitoring der Kennzahlen und Schulungsaufwand, damit die freigebenden Personen die Eskalationsregeln verstehen und Genehmigungsmüdigkeit nicht zur stillen Regel wird.

Wer diese Faktoren vorab kennt, kann eine Investitionsentscheidung fundiert treffen, statt auf einen unverbindlichen Richtwert zu vertrauen. ANCUD IT beginnt deshalb grundsätzlich mit einer Bestandsaufnahme der vorhandenen Freigabewege, bevor ein Angebot für einen Human-in-the-Loop-Workflow erstellt wird.

Wie starten Sie mit einem Human-in-the-Loop-Workflow bei ANCUD IT?

Der Einstieg bei ANCUD IT beginnt mit einer technischen Bestandsaufnahme der vorhandenen Freigabewege: Welche Entscheidungen werden heute wie getroffen, in welchen Systemen, mit welcher Protokollierung und an welchen Stellen bestehen Nebenwege. Auf dieser Grundlage wird ein einzelner Vorgangstyp für einen Pilotbetrieb ausgewählt, bevor ein vollständiger Human-in-the-Loop-Workflow entsteht.

Für den Pilot wird bewusst ein überschaubarer, gut messbarer Vorgangstyp gewählt, etwa eine Freigabestufe in der Rechnungsprüfung. Dort lassen sich Übersteuerungsrate, Bearbeitungsdauer und Eskalationsanteil beobachten, bevor der Workflow auf weitere Bereiche ausgeweitet wird. Bestehende Systeme wie SAP MIRO, DATEV Belegfreigabe oder ein vorhandenes Ticketsystem werden dabei weiterverwendet, nicht ersetzt.

Diese Leistung grenzt sich bewusst von benachbarten Angeboten ab: Wer die allgemeine Automatisierung von Abläufen sucht, findet die passende Grundlage in der Softwareentwicklung von ANCUD IT, siehe Softwareentwicklung. Wer speziell die automatisierte Erfassung von Belegen und Dokumenten benötigt, ist bei der Intelligenten Dokumentenverarbeitung besser aufgehoben, siehe Intelligente Dokumentenverarbeitung. Diese Seite setzt eine Ebene höher an: Sie regelt, wann ein Agent selbstständig handeln darf und wann ein Mensch eingreifen muss.

Interessierte Unternehmen können ein Erstgespräch anfragen, in dem der Umfang der Bestandsaufnahme und ein realistischer Pilotumfang gemeinsam festgelegt werden, ohne dass vorab feste Preise oder Fristen genannt werden, die den individuellen Prozessen nicht gerecht würden.

Was gehört zu einem belastbaren Freigabeprozess?

Sechs Bausteine entscheiden darüber, ob die menschliche Freigabe eine wirksame Kontrolle ist oder nur ein Klick am Ende einer Automatisierung.

01Freigabematrix

Für jede Vorgangsart ist festgelegt, ab welchem Betrag oder Risikohinweis wer entscheidet und wer vertritt. Die Matrix steht in einem Dokument, nicht im Kopf der Buchhaltung.

02Entscheidungsreife Vorlage

Die zuständige Person sieht Beleg, Bestellung, Wareneingang und die markierte Abweichung auf einer Seite. Sie muss nicht in drei Systemen nachsehen, um urteilen zu können.

03Eskalationsregeln

Bleibt eine Freigabe liegen oder überschreitet ein Vorgang eine Schwelle, geht er automatisch an die nächste Stufe. Fristen wie ein Skonto-Termin werden dabei sichtbar.

04Protokoll der Entscheidung

Festgehalten wird, welche Daten vorlagen, was das System vorschlug, wer entschied und mit welcher Begründung abgewichen wurde. Das Protokoll ist später auswertbar.

05Grenzen des Agenten

Der Agent liest, gleicht ab und schlägt vor. Zahlungen auslösen, Verträge schließen oder Konten sperren darf er nicht. Diese Grenze ist technisch erzwungen, nicht nur vereinbart.

06Messung der Prüfqualität

Wie oft weicht ein Mensch vom Vorschlag ab, wie schnell wird entschieden, wie viele Fälle eskalieren. Ohne diese Werte bleibt unklar, ob die Aufsicht wirkt.

Wie behalten Ihre Fachbereiche die Entscheidungshoheit?

Die Freigabe bleibt bei der Person, die für den Vorgang haftet. Das System liefert ihr die Grundlage, nimmt ihr die Suche ab und dokumentiert, was sie entschieden hat.

  • Zuständigkeit je Vorgangsart und Betragsgrenze schriftlich hinterlegt
  • Vertretungsregel für Urlaub und Krankheit im Ablauf abgebildet
  • Abweichung vom Vorschlag jederzeit ohne Begründungshürde möglich
  • Begründungspflicht nur dort, wo sie fachlich einen Zweck hat
  • Sammelfreigaben auf unkritische Vorgangsarten begrenzt
Fachbereichsleitung entscheidet über einen eskalierten Vorgang aus dem Human-in-the-Loop-Workflow
Die Entscheidung bleibt bei der Person, die für den Vorgang verantwortlich ist.
Übersichtliche Prüfliste mit wenigen, aber aussagekräftigen Freigabevorlagen
Wenige, gut begründete Vorlagen wirken besser als viele Bestätigungsklicks.

Wie viel Prüfvolumen verträgt ein Freigabeprozess?

Zu viele Freigabeschritte senken die Sorgfalt statt sie zu erhöhen. Wir reduzieren die Anzahl der Vorlagen und erhöhen dafür ihre Aussagekraft.

  • Unkritische Vorgänge laufen mit Stichprobenprüfung statt Einzelfreigabe
  • Kritische Vorgänge werden bewusst hervorgehoben und nicht gebündelt
  • Die Prüfvorlage zeigt den Grund der Vorlage in einem Satz
  • Wiederkehrende Standardfälle werden als Muster erkannt und zusammengefasst
  • Die Anzahl der Freigaben pro Person und Tag wird beobachtet

Wie bleibt die Freigabe im Human-in-the-Loop-Workflow revisionssicher?

Eine Freigabe ist erst nachvollziehbar, wenn Monate später rekonstruierbar ist, welche Informationen der entscheidenden Person vorlagen. Genau das protokollieren wir.

  • Datenstand zum Zeitpunkt der Vorlage wird mitgespeichert
  • Vorschlag des Systems und Entscheidung des Menschen sind getrennt erkennbar
  • Änderungen an Freigabematrix und Schwellwerten sind versioniert
  • Protokolle sind unveränderlich abgelegt und exportierbar
  • Anforderungen aus GoBD und internen Prüfvorgaben sind berücksichtigt
Protokollierte Freigabeentscheidungen als Grundlage für Revision und Prüfung
Ohne Protokoll ist eine menschliche Prüfung nicht beweisbar.
Anbindung eines Human-in-the-Loop-Workflows an bestehende ERP- und Ticketsysteme
Die Freigabelogik ergänzt die Bestandssysteme, sie ersetzt sie nicht.

Wie fügt sich der Freigabeschritt in Ihre Systemlandschaft ein?

Ihre Fachkräfte arbeiten weiter in den Masken, die sie kennen. Wir ergänzen die Vorbereitung und die Freigabelogik, statt eine neue Oberfläche einzuführen.

  • Rechnungsprüfung bleibt in SAP MIRO oder der DATEV Belegfreigabe
  • Genehmigungen in Dynamics 365 Business Central werden weitergenutzt
  • Eskalationen laufen als Vorgang in Jira oder ServiceNow
  • Bestehende Signatur- und Protokollwerkzeuge werden angebunden
  • Berechtigungen kommen aus dem vorhandenen Verzeichnisdienst

Wie sieht ein Human-in-the-Loop-Workflow in der Praxis aus?

Drei typische Ausgangslagen aus dem Mittelstand. Die Beispiele sind Branchentypen, keine namentlichen Referenzen.

Mittelständischer Maschinenbau

Rechnungsfreigabe ohne Suchaufwand
Herausforderung
Die Buchhaltung erhält Eingangsrechnungen per Mail, Post und Lieferantenportal. Den Abgleich mit Bestellung und Wareneingang macht eine Person von Hand und ruft dafür drei Systeme auf.
Lösung
Ein Agent sammelt die Belege, gleicht Positionen mit Bestellung und Wareneingang ab und legt nur Abweichungen zur Entscheidung in SAP MIRO vor. Freigegeben wird weiter von der zuständigen Person.
Ergebnis
  • Ein Freigabelauf statt drei Postfächer
  • Abweichungen fallen vor der Zahlung auf
  • Skonto-Fristen werden in der Vorlage sichtbar

Steuerberatungsgesellschaft

Belegfreigabe mit klarer Zuständigkeit
Herausforderung
Mandantenbelege werden vorkontiert, die Rückfragen laufen über Mail. Wer welchen Beleg wann freigegeben hat, lässt sich nachträglich nur mühsam rekonstruieren.
Lösung
Vorschläge zur Kontierung werden in der DATEV Belegfreigabe vorgelegt, offene Rückfragen als Vorgang geführt. Jede Entscheidung wird mit Datenstand und Begründung protokolliert.
Ergebnis
  • Prüfschritte sind protokolliert und auffindbar
  • Rückfragen hängen am Beleg statt im Postfach
  • Vertretung greift ohne Nachfrage im Team

Energieversorger mit kritischer Infrastruktur

Zugriffsanfragen mit Vier-Augen-Prinzip
Herausforderung
Anträge auf erweiterte Systemrechte laufen als Ticket ein. Die IT-Leitung genehmigt sie im Tagesgeschäft, ohne die Berechtigungslage im Detail zu übersehen.
Lösung
Der Agent prüft Antrag, bestehende Rollen und Konflikte, markiert kritische Kombinationen und legt sie zwei Personen zur Entscheidung vor. Unkritische Standardrollen laufen mit Stichprobenprüfung.
Ergebnis
  • Kritische Rechtekombinationen werden benannt
  • Zwei Personen entscheiden bei hohem Risiko
  • Meldepflichtige Vorfälle sind rekonstruierbar

Welche Risiken müssen Sie kennen?

Ein Freigabeschritt allein schützt nicht. Diese vier Punkte entscheiden darüber, ob die menschliche Aufsicht tatsächlich wirkt.

!Freigabe als Formsache

Wer sehr viele Vorgänge bestätigen muss, prüft irgendwann nicht mehr. Anthropic hat gemessen, dass Nutzer von Claude Code 93 Prozent aller Berechtigungsabfragen bestätigen. Prüfvolumen ist daher eine Gestaltungsfrage.

?Automatisierungsbias

Ein plausibel formulierter Vorschlag wird eher übernommen als hinterfragt. Die Prüfvorlage muss Belege zeigen, nicht nur ein Ergebnis, damit Widerspruch überhaupt möglich ist.

§Nicht wirksame Aufsicht

Die niederländische Datenschutzbehörde stellte bei Uber fest, dass Sperrentscheidungen ohne ausreichende menschliche Überprüfung erfolgten, und verhängte 824.990.000 Euro Bußgeld. Eine Unterschrift ohne Handlungsspielraum genügt nicht.

Umgehung über Nebenwege

Solange Freigaben auch per Mail oder Zuruf erteilt werden können, entsteht kein verlässliches Protokoll. Der offizielle Weg muss der bequemste sein.

Wie gehen wir bei der Einführung vor?

Sechs Schritte von der Bestandsaufnahme Ihrer heutigen Freigabewege bis zum überwachten Regelbetrieb.

1Freigabewege aufnehmen

Wir gehen mit Fachbereich und IT durch, welche Vorgänge heute wie freigegeben werden, wo Mail-Umwege bestehen und welche Systeme daran beteiligt sind.

2Grenzen festlegen

Gemeinsam bestimmen wir, welche Fälle das System selbstständig abschließen darf und welche zwingend an einen Menschen gehen. Ergebnis ist eine abgestimmte Freigabematrix.

3Rechtliche Einordnung

Wir prüfen mit Ihnen, ob der Anwendungsfall unter die Hochrisiko-Anforderungen des EU AI Act fällt und ob eine automatisierte Einzelfallentscheidung nach DSGVO vorliegt.

4Pilot mit einem Vorgangstyp

Ein Vorgangstyp geht in den Betrieb, etwa Eingangsrechnungen über einer Betragsgrenze. Wir beobachten Bearbeitungsdauer, Eskalationen und Abweichungen vom Vorschlag.

5Protokoll und Prüfung

Der Audit-Trail wird gegen Ihre Revisionsanforderungen geprüft. Wir stellen sicher, dass Datenstand, Vorschlag und Entscheidung getrennt nachvollziehbar sind.

6Ausrollen und überwachen

Weitere Vorgangsarten kommen hinzu. Schwellwerte werden anhand der beobachteten Werte nachjustiert, Änderungen an der Freigabematrix versioniert.

Womit können Sie starten?

Vier abgegrenzte Einstiege. Jeder endet mit einem Ergebnis, das Sie auch ohne Folgeauftrag weiterverwenden können.

01Bestandsaufnahme der Freigabewege

Wir erfassen Ihre heutigen Genehmigungsabläufe, die beteiligten Systeme und die rechtliche Einordnung. Ergebnis ist eine Übersicht mit Vorschlag für die Freigabematrix.

Bestandsaufnahme anfragen
02Pilot mit einem Vorgangstyp

Ein Vorgangstyp wird vollständig umgesetzt, vom Vorschlag des Agenten bis zum protokollierten Freigabeschritt. Danach entscheiden Sie über die Ausweitung.

Pilot besprechen
03Anbindung an Bestandssysteme

Wir verbinden die Freigabelogik mit SAP, DATEV, Dynamics 365 oder Ihrem Ticketsystem, sodass Ihre Fachkräfte in gewohnten Masken entscheiden.

Integration klären
04Betrieb und Nachjustierung

Wir überwachen Übersteuerungsrate, Eskalationen und Bearbeitungsdauer, passen Schwellwerte an und halten die Protokollierung prüffähig.

Betrieb anfragen

Häufige Fragen

Was bedeutet Human-in-the-Loop bei künstlicher Intelligenz?

Das System bereitet einen Vorgang auf und schlägt eine Entscheidung vor, ausgeführt wird sie erst nach Freigabe durch eine zuständige Person. Der Mensch sitzt also im Ablauf, nicht nur daneben.

Wie unterscheidet sich Human-in-the-Loop von Human-on-the-Loop?

Bei Human-in-the-Loop wartet das System auf die Entscheidung. Bei Human-on-the-Loop handelt es selbstständig, ein Mensch beobachtet und kann eingreifen oder abbrechen. Human-in-Command meint die übergeordnete Steuerung des Einsatzes.

Wann ist menschliche Aufsicht gesetzlich vorgeschrieben?

Artikel 14 des EU AI Act verlangt, dass Hochrisiko-Systeme wirksam beaufsichtigt werden können. Ergänzend fordert Artikel 22 DSGVO bei automatisierten Einzelfallentscheidungen mit erheblicher Wirkung eine menschliche Prüfung. Die meisten Hochrisiko-Pflichten gelten ab 2. August 2026.

Was kostet ein Human-in-the-Loop-Workflow?

Den Aufwand bestimmen die Anzahl der Vorgangsarten, die Schnittstellen zu Ihren Systemen, die Protokollanforderungen und der spätere Betrieb. Wir nennen keine Pauschalen, sondern beginnen mit einer technischen Bestandsaufnahme Ihrer Freigabewege.

Wie verhindern Sie, dass Freigaben nur abgezeichnet werden?

Wir senken das Prüfvolumen bewusst: unkritische Vorgänge laufen mit Stichprobe, kritische werden einzeln und mit Begründung vorgelegt. Zusätzlich beobachten wir, wie oft Menschen vom Vorschlag abweichen.

Müssen wir unsere Workflow-Software ersetzen?

In der Regel nicht. Wenn Sie mit SAP MIRO, der DATEV Belegfreigabe oder Dynamics 365 arbeiten, ergänzen wir die Vorbereitung und die Eskalationslogik und lassen die Freigabe dort, wo Ihre Fachkräfte sie kennen.

Freigaben, die vor der Prüfung Bestand haben

Wir sehen uns Ihre heutigen Genehmigungswege an und zeigen, wo ein Agent vorbereiten darf und wo ein Mensch entscheiden muss.

  • Freigabematrix als greifbares Ergebnis
  • Einordnung nach EU AI Act und DSGVO
  • Bestandssysteme bleiben in Betrieb
Gespräch vereinbaren