Logbucheintrag 006 · 30. Oktober 2026

„Da schaut am Ende noch ein Mensch drauf.“

Dieser Satz hört man allzu häufig, wenn über Risiken beim Einsatz von Künstlicher Intelligenz gesprochen wird.

Er klingt beruhigend.

Schließlich entscheidet dann nicht die KI allein, sondern ein Mensch behält das letzte Wort.

Doch genau hier lohnt sich ein zweiter Blick.

Denn ein Mensch, der irgendwo im Prozess auftaucht, ist noch lange keine wirksame menschliche Aufsicht.

Wenn er das System nicht versteht, seine Ergebnisse nicht sinnvoll beurteilen kann oder keine Befugnis besitzt einzugreifen, bleibt von Human Oversight nicht viel übrig.

Human Oversight ist mehr als ein Kontrollkästchen

Der EU AI Act verwendet für Hochrisiko-KI-Systeme den Begriff Human Oversight – menschliche Aufsicht.

Artikel 14 verlangt, dass solche Systeme so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise während des Einsatzes wirksam beaufsichtigen können.

Ziel dieser Aufsicht ist insbesondere, Risiken für Gesundheit, Sicherheit und Grundrechte zu verhindern oder zu minimieren. Die konkreten Maßnahmen sollen dabei zum Risiko, zum Autonomiegrad des Systems und zum jeweiligen Nutzungskontext passen.

Schon das Wort wirksam ist entscheidend.

Es reicht nicht, einen Menschen formal in ein Prozessdiagramm einzubauen.

Die Person muss tatsächlich in der Lage sein, ihre Kontrollfunktion auszuüben.

Drei Dinge gehören für mich zusammen

Eine funktionierende menschliche Aufsicht lässt sich für mich auf drei Begriffe herunterbrechen:

Kompetenz. Befugnis. Eingriff.

Fehlt einer dieser drei Punkte, funktioniert das Konzept nur eingeschränkt.

Kompetenz

Die Person muss verstehen, was das System leisten kann – und ebenso wichtig: was es nicht leisten kann.

Sie muss beispielsweise einschätzen können:

• welche Grenzen das System besitzt,
• wann ungewöhnliche Ergebnisse auftreten,
• welche Fehlerbilder möglich sind,
• wie Ausgaben interpretiert werden müssen,
• und wann zusätzliche Überprüfung notwendig ist.

Artikel 26 verlangt deshalb ausdrücklich, dass Betreiber die menschliche Aufsicht Personen übertragen, die über die notwendige Kompetenz und Ausbildung verfügen.

Das verbindet Human Oversight unmittelbar mit KI-Kompetenz.

Wer ein System kontrollieren soll, muss genug darüber wissen, um überhaupt erkennen zu können, wann etwas problematisch wird.

Befugnis

Kompetenz allein genügt jedoch nicht.

Stellen wir uns vor, eine Mitarbeiterin erkennt, dass ein KI-System offensichtlich fehlerhafte Empfehlungen produziert.

Sie darf diese Empfehlung aber nicht verwerfen.

Sie darf das System nicht stoppen.

Und für jede Abweichung muss sie zunächst drei Hierarchieebenen um Zustimmung bitten.

Dann besitzt sie Wissen – aber keine wirksame Kontrollmöglichkeit.

Deshalb nennt Artikel 26 neben Kompetenz und Ausbildung ausdrücklich auch die erforderliche Befugnis sowie die notwendige Unterstützung.

Das ist für mich einer der stärksten Governance-Gedanken im AI Act:

Wer Verantwortung übernehmen soll, braucht auch die Möglichkeit zu handeln.

Eingriff

Und schließlich muss es einen tatsächlichen Eingriffsweg geben.

Artikel 14 beschreibt ziemlich konkret, was eine Person im Rahmen menschlicher Aufsicht können soll.

Dazu gehört je nach System und Situation unter anderem:

• die Fähigkeiten und Grenzen des Systems verstehen,
• seinen Betrieb beobachten,
• ungewöhnliches oder fehlerhaftes Verhalten erkennen,
• Ergebnisse richtig interpretieren,
• eine KI-Ausgabe nicht verwenden,
• eine Ausgabe ignorieren, überstimmen oder rückgängig machen,
• und in den Betrieb eingreifen oder das System über einen Stop-Mechanismus anhalten.

Human Oversight ist damit kein passives Zuschauen.

Es ist eine aktive Kontrollfunktion.

Der Mensch darf nicht zum Abnickautomaten werden

Ein besonders interessanter Punkt in Artikel 14 ist der sogenannte Automation Bias.

Damit ist vereinfacht die menschliche Neigung gemeint, automatisierten Ergebnissen zu stark zu vertrauen.

Das kennen wir auch außerhalb von KI.

Das Navigationsgerät sagt links – also fahren wir links.

Das System zeigt einen grünen Status – also gehen wir davon aus, dass alles funktioniert.

Und wenn eine Software eine Zahl mit zwei Nachkommastellen präsentiert, wirkt sie schnell präziser, als die zugrunde liegenden Daten vielleicht rechtfertigen.

Bei KI-Systemen kann dieser Effekt besonders problematisch werden.

Ein Mensch sitzt zwar formal im Entscheidungsprozess, übernimmt die Empfehlung des Systems aber praktisch immer.

Dann existiert menschliche Aufsicht nur noch auf dem Papier.

Der AI Act verlangt deshalb ausdrücklich, dass Personen, die Human Oversight übernehmen, sich dieser Gefahr des automatischen oder übermäßigen Vertrauens in KI-Ausgaben bewusst sein können.

Das ist ein wichtiger Punkt.

Human in the Loop ist nicht automatisch Human in Control.

Ein Beispiel: KI unterstützt eine Personalentscheidung

Stellen wir uns ein Unternehmen vor, das ein KI-System zur Unterstützung eines Bewerbungsprozesses nutzt.

Das System bewertet Unterlagen und erstellt eine Empfehlung.

Anschließend betrachtet ein Mitarbeiter aus dem Personalbereich das Ergebnis.

Formal könnte man nun sagen:

„Wir haben Human Oversight.“

Aber schauen wir uns das mal etwas genauer an:

• Kennt der Mitarbeiter die Grenzen des Systems?
• Weiß er, welche Informationen die Empfehlung beeinflusst haben?
• Kann er erkennen, wenn ein Ergebnis ungewöhnlich ist?
• Darf er die Empfehlung vollständig ignorieren?
• Kann er eine weitere Prüfung verlangen?
• Kann er bei systematischen Auffälligkeiten den Einsatz stoppen?
• Und weiß er, an wen ein solcher Vorfall eskaliert werden muss?

Erst wenn solche Fragen beantwortet sind, entsteht aus einem Menschen im Prozess tatsächlich eine Kontrollfunktion.

Ein Stop-Knopf allein genügt ebenfalls nicht

Auch das andere Extrem wäre zu einfach.

Man könnte sagen:

„Das System hat einen Stop-Button. Damit ist Human Oversight erledigt.“

Aber ein Stop-Knopf hilft nur, wenn jemand weiß:

Wann soll ich ihn benutzen?

Dafür braucht es definierte Kriterien.

Beispielsweise:

• auffällige oder unplausible Ergebnisse,
• unerwartete Veränderungen der Systemleistung,
• bestimmte Fehlerraten,
• erkannte Diskriminierungsmuster,
• technische Störungen,
• Sicherheitsvorfälle,
• oder Abweichungen vom vorgesehenen Einsatzbereich.

Und nach dem Stop braucht es einen Prozess.

• Wer wird informiert?
• Wer analysiert den Vorfall?
• Wann darf das System wieder gestartet werden?
• Wer genehmigt die Wiederaufnahme?
• Auch hier zeigt sich:

Technische Kontrolle und organisatorischer Prozess müssen zusammenpassen.

Human Oversight beginnt schon vor dem Go-live

Menschliche Aufsicht sollte deshalb nicht erst beim laufenden System bedacht werden.

Bereits bei der Einführung eines KI-Systems sollte feststehen:

• Wer übernimmt diese Rolle?
• Welche Fähigkeiten braucht diese Person?
• Welche Informationen stellt das System bereit?
• Welche Warnungen oder Schwellenwerte existieren?
• Welche Eingriffsmöglichkeiten gibt es?
• Wann muss eskaliert werden?
• Wie werden Entscheidungen dokumentiert?
• Und wer übernimmt, wenn die zuständige Person nicht verfügbar ist?

Diese Fragen gehören aus meiner Sicht schon zu den Abnahmekriterien eines KI-Systems.

Denn erst beim ersten kritischen Vorfall darüber nachzudenken, wer eigentlich den Stop-Knopf drücken darf, ist ein schlechter Zeitpunkt für Prozessdesign.

Vier Augen können sinnvoll sein – sind aber nicht immer gesetzlich vorgeschrieben

Auch beim Vier-Augen-Prinzip lohnt sich eine genaue Unterscheidung.

Der AI Act verlangt nicht pauschal, dass jede KI-Entscheidung von zwei Menschen bestätigt werden muss.

Eine besondere Zwei-Personen-Prüfung nennt Artikel 14 für bestimmte biometrische Fernidentifizierungssysteme aus Anhang III. Dort darf auf Grundlage einer Identifizierung grundsätzlich keine Handlung oder Entscheidung erfolgen, bevor das Ergebnis von mindestens zwei entsprechend qualifizierten Personen separat überprüft und bestätigt wurde.

Für andere Anwendungsfälle können Unternehmen natürlich freiwillig ebenfalls ein Vier-Augen-Prinzip vorsehen.

Das kann besonders sinnvoll sein, wenn Fehlentscheidungen erhebliche Auswirkungen haben.

Wichtig ist nur, interne Governance-Regeln und gesetzliche Mindestanforderungen sauber auseinanderzuhalten.

Human Oversight braucht Informationen

Eine Person kann nur kontrollieren, was für sie nachvollziehbar ist.

Deshalb hängen Transparenz und Human Oversight eng zusammen.

Artikel 13 verlangt bei Hochrisiko-KI-Systemen Informationen, die Betreiber unter anderem dabei unterstützen sollen, die Ausgaben des Systems zu interpretieren und die vorgesehenen Maßnahmen zur menschlichen Aufsicht umzusetzen.

Für die Praxis bedeutet das:

Ein Kontrollverantwortlicher braucht mehr als einen Bildschirm mit einem großen grünen Haken.

Er benötigt Informationen, die tatsächlich dabei helfen, ein Ergebnis einzuordnen.

Welche Informationen das konkret sind, hängt vom System und seinem Risiko ab.

Aber der Grundsatz ist einfach:

Ohne ausreichende Information gibt es keine informierte Entscheidung.

Auch Monitoring gehört dazu

Human Oversight darf außerdem nicht isoliert vom laufenden Monitoring betrachtet werden.

Artikel 26 verpflichtet Betreiber von Hochrisiko-KI-Systemen dazu, deren Betrieb auf Grundlage der Gebrauchsanweisung zu überwachen. Besteht Grund zu der Annahme, dass ein System ein relevantes Risiko darstellen kann, sind unter anderem Informations- und gegebenenfalls Aussetzungsmaßnahmen vorgesehen.

Das lässt sich gut mit klassischem IT-Betrieb vergleichen:

• Wir beobachten ein System.
• Wir definieren relevante Kennzahlen und Alarmgrenzen.
• Wir erkennen Abweichungen.
• Ein Mensch bewertet die Situation.
• Und wenn bestimmte Schwellen überschritten werden, wird eingegriffen.

KI ändert diesen Grundgedanken nicht.

Sie macht ihn teilweise nur wichtiger.

Menschliche Kontrolle darf nicht zur Beruhigungspille werden

Bei KI-Projekten kann „Da schaut noch ein Mensch drauf“ schnell zu einer Art Beruhigungsformel werden.

Das Risiko ist technisch nicht vollständig beherrscht?

Kein Problem – ein Mensch kontrolliert ja.

Das Modell kann Fehler machen?

Ein Mensch prüft das Ergebnis.

Die Entscheidung könnte erhebliche Auswirkungen haben?

Am Ende entscheidet der Mensch.

Doch damit wird Verantwortung lediglich verschoben.

Wenn der Mensch die Aufgabe in der verfügbaren Zeit gar nicht zuverlässig erfüllen kann oder nicht über die notwendigen Informationen verfügt, löst seine Anwesenheit das Problem nicht.

Gute Human Oversight muss deshalb selbst gestaltet und getestet werden.

Auch die Aufsicht sollte getestet werden

Bei der Abnahme eines KI-Systems würde ich deshalb nicht nur das Modell testen.

Ich würde auch den Kontrollprozess testen.

Zum Beispiel:

Das System erzeugt bewusst ein offensichtlich ungewöhnliches Ergebnis.

• Erkennt die zuständige Person die Auffälligkeit?
• Weiß sie, was zu tun ist?
• Kann sie das Ergebnis zurückweisen?
• Funktioniert der Eskalationsweg?
• Lässt sich das System tatsächlich stoppen?
• Wird der Vorfall dokumentiert?
• Und funktioniert all das auch unter Zeitdruck?

Solche Negativtests sagen häufig mehr über die Wirksamkeit einer Governance aus als die schönste Prozessbeschreibung.

Der Mensch braucht Unterstützung

Ein weiterer interessanter Begriff in Artikel 26 ist Unterstützung.

Betreiber sollen den Personen, denen Human Oversight übertragen wird, nicht nur Verantwortung geben, sondern auch die notwendige Unterstützung zur Verfügung stellen.

Das kann je nach Anwendungsfall beispielsweise bedeuten:

• Schulung,
• Dokumentation,
• Interpretationshilfen,
• technische Dashboards,
• klare Eskalationswege,
• ausreichende Zeit,
• Vertretungsregelungen
• oder Zugang zu fachlichen Ansprechpartnern.

Auch hier gilt:

Eine Rolle auf dem Papier kostet wenig.

Eine funktionierende Rolle braucht Ressourcen.

Was ich daraus mitnehme

Human Oversight bedeutet nicht:

„Irgendwo sitzt noch ein Mensch.“

Es bedeutet, dass ein Mensch ein KI-System verstehen, beobachten, beurteilen und bei Bedarf übersteuern oder stoppen kann.

Dafür braucht er Kompetenz.

Er braucht Informationen.

Er braucht Befugnisse.

Und er braucht einen funktionierenden Prozess.

Die für mich entscheidende Frage lautet deshalb nicht:

„Ist ein Mensch im Prozess?“

Sondern:

„Kann dieser Mensch tatsächlich etwas bewirken, wenn die KI falsch liegt?“

Wenn die Antwort darauf Nein lautet, haben wir vielleicht Human in the Loop.

Aber noch keine wirksame menschliche Aufsicht.

Quellen und weiterführende Links

EU AI Act – Verordnung (EU) 2024/1689, aktuelle konsolidierte Fassung, insbesondere Artikel 13 zur Transparenz, Artikel 14 zur menschlichen Aufsicht sowie Artikel 26 zu den Pflichten von Betreibern von Hochrisiko-KI-Systemen.

EU AI Act – Erwägungsgründe 73 und 91, insbesondere zu wirksamer menschlicher Aufsicht, Eingriffsmöglichkeiten sowie Kompetenz, Ausbildung und Befugnis der verantwortlichen Personen.