Logbucheintrag 004 · 28. Oktober 2026

Wenn über den EU AI Act gesprochen wird, fällt häufig zuerst der Begriff „Anbieter“.

Das ist verständlich. Wer ein KI-System entwickelt und auf den Markt bringt, muss zahlreiche Anforderungen erfüllen.

Für viele Unternehmen ist aber eine andere Rolle wesentlich näher an der täglichen Praxis:

der Betreiber eines KI-Systems.

Ein Unternehmen muss schließlich nicht selbst ein KI-Modell entwickeln, um Verantwortung zu übernehmen. Es reicht bereits, ein KI-System unter eigener Verantwortung beruflich einzusetzen.

Und genau deshalb lohnt sich die Frage:

Was bedeutet es eigentlich, Betreiber eines KI-Systems zu sein?

Betreiber ist nicht gleich Anbieter

Der EU AI Act unterscheidet verschiedene Rollen entlang des Lebenszyklus eines KI-Systems.

Vereinfacht gesagt entwickelt oder vermarktet der Anbieter ein KI-System beziehungsweise lässt es entwickeln und bringt es unter seinem Namen in Verkehr oder nimmt es in Betrieb.

Der Betreiber verwendet ein KI-System dagegen unter eigener Verantwortung. Private, rein persönliche Nutzung fällt grundsätzlich nicht unter diese Betreiberdefinition.

Ein Unternehmen, das beispielsweise ein fertiges KI-System eines externen Herstellers für einen betrieblichen Anwendungsfall einsetzt, kann damit Betreiber sein, obwohl es keine einzige Zeile des Systems selbst programmiert hat.

Das ist ein wichtiger Punkt.

„Wir haben das System nicht entwickelt“ bedeutet nicht automatisch „Wir tragen keine Verantwortung“.

Zuerst klären: Welches System setzen wir überhaupt ein?

Bevor man über konkrete Pflichten spricht, sollte deshalb zunächst Klarheit über den Anwendungsfall bestehen.

• Welche Aufgabe übernimmt das KI-System?
• Welche Daten verarbeitet es?
• Wer nutzt es?
• Welche Entscheidungen werden damit vorbereitet oder getroffen?
• Welche Personen können von diesen Entscheidungen betroffen sein?
• Und nicht zuletzt:

Wie ist das System nach dem EU AI Act einzuordnen?

Der AI Act verfolgt einen risikobasierten Ansatz. Die meisten heute eingesetzten KI-Systeme fallen laut Europäischer Kommission in Bereiche mit minimalem oder keinem zusätzlichen regulatorischen Risiko. Für bestimmte Anwendungsfälle gelten dagegen besondere Transparenz- oder Hochrisikoanforderungen.

Deshalb wäre es falsch, für jedes kleine KI-Werkzeug sofort den kompletten Hochrisiko-Apparat aufzubauen.

Ebenso falsch wäre es aber, einen potenziell kritischen Anwendungsfall ungeprüft als gewöhnliches Softwaretool zu behandeln.

Hochrisiko bedeutet zusätzliche Verantwortung

Besonders konkret werden die Betreiberpflichten bei Hochrisiko-KI-Systemen.

Artikel 26 des EU AI Act nennt hier eine Reihe von Pflichten.

Eine grundlegende Anforderung lautet:

Betreiber müssen geeignete technische und organisatorische Maßnahmen treffen, damit das System entsprechend den mitgelieferten Gebrauchsanweisungen eingesetzt wird.

Das klingt zunächst unspektakulär.

In der Praxis steckt darin aber einiges.

Ein Unternehmen muss beispielsweise wissen:

• Wer darf das System benutzen?
• Für welche Zwecke darf es eingesetzt werden?
• Welche Einschränkungen hat es?
• Welche Kontrollen sind erforderlich?
• Und was passiert, wenn der reale Einsatz vom vorgesehenen Anwendungsfall abweicht?
• Das ist klassische Governance-Arbeit.

Human Oversight muss tatsächlich funktionieren

Ein weiterer zentraler Punkt ist die menschliche Aufsicht.

Der EU AI Act verlangt für Hochrisiko-KI-Systeme, dass die menschliche Aufsicht Personen übertragen wird, die über die notwendige Kompetenz, Ausbildung und Befugnis verfügen und außerdem ausreichend unterstützt werden.

Gerade das Wort Befugnis halte ich für entscheidend.

Es reicht nicht, einen Mitarbeiter auf einem Organigramm als „Human Oversight“ einzutragen.

Diese Person muss auch handeln können.

Wenn sie ein problematisches Ergebnis erkennt, muss klar sein:

• Kann sie die Entscheidung zurückweisen?
• Kann sie eine weitere Prüfung verlangen?
• Kann sie das System stoppen?
• Wen muss sie informieren?
• Und was passiert anschließend?

Menschliche Aufsicht ist damit keine dekorative Kontrollinstanz.

Sie muss organisatorisch wirksam sein.

Auch Eingangsdaten können relevant sein

Wenn ein Betreiber selbst Daten in ein Hochrisiko-KI-System eingibt und diese Daten für den vorgesehenen Zweck relevant sind, verlangt der AI Act grundsätzlich, dass diese Eingangsdaten für den vorgesehenen Zweck ausreichend relevant und repräsentativ sind. Die Europäische Kommission weist auf diese Betreiberpflicht ausdrücklich hin.

Auch hier zeigt sich:

KI-Governance endet nicht beim Modell.

Ein technisch gutes System kann schlechte Ergebnisse produzieren, wenn die bereitgestellten Daten ungeeignet sind.

Die praktische Frage lautet deshalb nicht nur:

„Ist das KI-System gut?“

Sondern auch:

„Ist das, womit wir es füttern, für unseren Anwendungsfall geeignet?“

Betrieb bedeutet beobachten

Ein KI-System einzuführen und anschließend einfach laufen zu lassen, wäre ebenfalls zu kurz gedacht.

Betreiber von Hochrisiko-KI-Systemen müssen den Betrieb entsprechend den Gebrauchsanweisungen überwachen und bei erkannten Risiken oder schwerwiegenden Vorfällen reagieren. Auch die Kommission stellt Monitoring und Reaktion ausdrücklich als Betreiberaufgaben heraus.

Das erinnert stark an klassische IT-Betriebsprozesse.

• Wir führen ein System ein.
• Wir beobachten es.
• Wir definieren Schwellenwerte.
• Wir erkennen Abweichungen.
• Wir eskalieren bei Problemen.
• Und wir dokumentieren, was passiert ist.
  

KI macht dieses Prinzip nicht überflüssig.

Im Gegenteil: Bei Systemen, deren Verhalten sich nicht immer so einfach wie bei klassischer Software vorhersagen lässt, wird Monitoring eher noch wichtiger.

Ein Beispiel: KI im Recruiting

Nehmen wir ein Unternehmen, das ein KI-System zur Unterstützung bei Bewerbungsverfahren einsetzt.

Solche Anwendungen können je nach konkretem Einsatz unter die Hochrisikobereiche des AI Act fallen. Die Kommission nennt Beschäftigung ausdrücklich als einen der Bereiche, für die die entsprechenden Hochrisikoregeln vorgesehen sind.

Jetzt reicht es nicht, das System einzukaufen und der Personalabteilung einen Zugang einzurichten.

• Vor dem Einsatz sollten beispielsweise Fragen beantwortet sein:
• Was genau soll das System entscheiden oder empfehlen?
• Welche Daten erhält es?
• Wer beurteilt seine Ergebnisse?
• Wie können Mitarbeiter eine Empfehlung des Systems überstimmen?
• Wie werden ungewöhnliche Ergebnisse erkannt?
• Welche Dokumentation benötigen wir?
• Wer entscheidet bei einem Vorfall über eine Abschaltung?
• Und wie erfahren betroffene Personen, dass KI eingesetzt wird, wenn entsprechende Informationspflichten greifen?

Das sind keine rein technischen Fragen.

Sie betreffen Prozesse, Rollen, Recht, Organisation und menschliche Entscheidungen gleichzeitig.

Auch Information gehört zur Verantwortung

Je nach Anwendungsfall können Betreiber zusätzliche Informationspflichten haben.

Die Europäische Kommission nennt beispielsweise den Einsatz bestimmter Hochrisiko-KI-Systeme am Arbeitsplatz. Dort müssen betroffene Beschäftigte und Arbeitnehmervertretungen vorab informiert werden.

Unterstützt ein Hochrisiko-System Entscheidungen über natürliche Personen, können ebenfalls Informationspflichten gegenüber den Betroffenen entstehen.

Daneben bestehen seit dem 2. August 2026 gesonderte Transparenzpflichten aus Artikel 50 für bestimmte KI-Systeme und KI-generierte beziehungsweise manipulierte Inhalte. Die Kommission hat hierzu im Juli 2026 eigene Leitlinien veröffentlicht.

Das zeigt auch, warum man beim AI Act nicht einfach nur fragen sollte:

„Ist unser System Hochrisiko?“

Je nach System können unterschiedliche Pflichten aus verschiedenen Teilen der Verordnung relevant sein.

Nicht jede Pflicht gilt schon heute

Gerade beim EU AI Act ist der zeitliche Kontext wichtig.

Die Verordnung wird schrittweise anwendbar.

Seit dem 2. Februar 2025 gelten unter anderem Bestimmungen zur KI-Kompetenz sowie bestimmte Verbote.

Seit 2. August 2026 gelten weitere Regelungen, darunter bestimmte Transparenzanforderungen.

Für Hochrisiko-Systeme wurde der Zeitplan inzwischen angepasst. Die Regeln für bestimmte Hochrisikobereiche wie Beschäftigung, Bildung, Biometrie oder kritische Infrastruktur sollen ab 2. Dezember 2027 gelten. Bei bestimmten KI-Systemen, die Teil regulierter Produkte sind, ist 2. August 2028 relevant.

Das bedeutet aber nicht, dass Unternehmen bis dahin nichts tun sollten.

Gerade Rollen, Inventarisierung, Risikobewertung, Schulung und Prozesse brauchen Zeit.

Governance lässt sich schlecht am Freitag installieren, wenn die Regel am Montag gilt.

Was ich als Betreiber heute schon wissen möchte

Unabhängig von der konkreten Risikoklasse würde ich bei einem betrieblich eingesetzten KI-System mindestens folgende Fragen beantworten wollen:

Was ist der Zweck des Systems?

Wer trägt fachliche Verantwortung?

Wer darf das System verwenden?

Welche Daten werden verarbeitet?

Welche Risiken wurden identifiziert?

Wie werden Ergebnisse überprüft?

Wer übernimmt menschliche Aufsicht?

Welche Befugnisse hat diese Person?

Wie wird der Betrieb überwacht?

Was passiert bei einem Vorfall?

Welche Informations- und Dokumentationspflichten gelten?

Nicht jede Antwort führt automatisch zu einer gesetzlichen Verpflichtung.

Aber wenn ein Unternehmen diese grundlegenden Fragen nicht beantworten kann, fehlt bereits eine wichtige Grundlage für verantwortungsvollen KI-Einsatz.

Governance sollte ermöglichen, nicht verhindern

Bei all diesen Anforderungen besteht schnell die Gefahr, dass Governance als zusätzliche Bürokratie wahrgenommen wird.

Das muss nicht so sein.

Ein guter Prozess sorgt vielmehr dafür, dass Teams früh wissen, welche Fragen geklärt werden müssen.

Ein einfacher, risikoabhängiger Freigabeprozess kann wesentlich effizienter sein als eine Situation, in der erst kurz vor der Produktivsetzung Datenschutz, Informationssicherheit, Fachbereich und Management feststellen, dass wichtige Punkte ungeklärt sind.

Gute Governance bedeutet für mich deshalb nicht:

„KI möglichst schwierig machen.“

Sondern:

„KI so einsetzen, dass wir wissen, was wir tun.“

Was ich daraus mitnehme

Wer ein KI-System nicht selbst entwickelt, ist deshalb noch lange nicht aus der Verantwortung.

Gerade Betreiber müssen verstehen, wofür ein System eingesetzt wird, wie es überwacht wird und wer bei Problemen handeln darf.

Der EU AI Act macht diese Verantwortung bei Hochrisiko-Systemen besonders deutlich.

Für mich beginnt verantwortungsvoller KI-Einsatz deshalb nicht erst mit einer juristischen Checkliste.

Er beginnt mit einer wesentlich einfacheren Frage:

Wer hat unser KI-System eigentlich im Griff, wenn etwas nicht so läuft wie geplant?

Wenn darauf eine klare Antwort existiert, ist schon viel gewonnen.

Quellen und weiterführende Links

EU AI Act – Verordnung (EU) 2024/1689, insbesondere Artikel 3 zur Definition des Betreibers und Artikel 26 zu den Pflichten von Betreibern von Hochrisiko-KI-Systemen.

Europäische Kommission – Navigating the AI Act, Erläuterungen zu Anbieter- und Betreiberpflichten sowie zur Anwendung der Hochrisikoregeln.

Europäische Kommission – Guidelines for providers and deployers of AI high-risk systems, aktuelle Leitlinien und Beispiele zur Einordnung von Hochrisiko-KI-Systemen.

Europäische Kommission – Guidelines on transparency obligations, Hinweise zu den seit August 2026 geltenden Transparenzpflichten nach Artikel 50.