TL;DR

Der EU AI Act bringt neue Pflichten für Unternehmen, vor allem bei riskanten KI-Systemen. Verbotene Anwendungen müssen abgeschafft, Mitarbeitende geschult und Prozesse dokumentiert werden. Wer ein ISMS hat, kann viele Anforderungen effizient integrieren – und so rechtzeitig Compliance und Vertrauen sichern.

Was Unternehmen jetzt wissen müssen

Mit dem Inkrafttreten des EU AI Act am 2. August 2024 und den stufenweisen Umsetzungsfristen bis 2026 wurde ein neuer regulatorischer Rahmen geschaffen, der nicht nur technologische Innovation lenken, sondern auch Menschenrechte, Transparenz und Sicherheit im Umgang mit Künstlicher Intelligenz (KI) schützen soll. Besonders für Unternehmen, die bereits ein Informationssicherheitsmanagementsystem (ISMS) gemäß ISO/IEC 27001 betreiben, stellt sich die Frage: Wie lassen sich die Anforderungen des AI Act sinnvoll in bestehende Strukturen integrieren?

Risikobasierter Ansatz und ISMS-Synergie

Der AI Act klassifiziert KI-Systeme in verschiedene Risikostufen: minimal, begrenzt, hoch und unannehmbar. Diese Systematik deckt sich in weiten Teilen mit dem risikobasierten Ansatz, den auch ISO 27001 verfolgt. Unternehmen, die bereits ihre Informationssicherheitsrisiken systematisch erfassen, bewerten und behandeln, können diese Methodik auf KI-Systeme ausweiten. Die Integration der Risikobewertung von KI in das ISMS-Risikoregister ist daher nicht nur sinnvoll, sondern aus Sicht der Compliance geboten.

Wichtige Anforderungen des AI Act im Unternehmenskontext

  1. Verbotene KI-Systeme (ab Februar 2025): KI-Anwendungen wie Social Scoring, manipulative Emotionserkennung oder biometrische Kategorisierung bestimmter Merkmale sind streng untersagt. Unternehmen müssen sicherstellen, dass solche Systeme weder intern noch durch Lieferanten genutzt werden.
  2. Hochrisiko-KI-Systeme: Dazu gehören KI-Systeme in sicherheitskritischen Bereichen, bei Entscheidungsprozessen über Menschen oder im Arbeitsumfeld. Diese erfordern technische Dokumentation, Konformitätsprüfungen, Risikomanagementprozesse und menschliche Überwachung.
  3. Transparenzpflichten: Generative KI (z. B. ChatGPT) muss als solche gekennzeichnet werden. Auch Entscheidungsgrundlagen und Trainingsdaten müssen offengelegt werden.
  4. Schulungspflichten: Unternehmen müssen sicherstellen, dass alle Mitarbeitenden, die mit KI arbeiten, über deren Funktionsweise, Risiken und Grenzen informiert sind. Diese "AI Literacy" kann direkt in ISMS-Schulungspläne integriert werden.
  5. Dokumentationspflichten und Nachvollziehbarkeit:
    • Technische Unterlagen für Hochrisiko-KI müssen aufbewahrt werden
    • Entscheidungswege müssen auditierbar sein
    • Interne Richtlinien zur Nutzung von KI sollten dokumentiert und zugänglich sein

Praktische Integration ins ISMS

Viele Anforderungen des AI Act lassen sich als Erweiterung bestehender ISMS-Bausteine umsetzen:

  • Risikobehandlung: Einführung spezifischer Controls für KI-basierte Systeme im Risikobehandlungsplan
  • Asset-Management: Aufnahme von KI-Systemen in die Asset-Liste inkl. Risikoklassifizierung
  • Awareness-Schulungen: Anpassung des Schulungskonzepts um Inhalte zur KI-Transparenz, Fairness, Erklärbarkeit
  • Lieferantenmanagement: Berücksichtigung von KI-bezogenen Risiken bei der Bewertung externer Anbieter
  • Kontinuierliche Verbesserung:
    • Jährliche Überprüfung der eingesetzten KI-Systeme
    • Feedback-Prozesse zur Nutzung von generativer KI im Alltag

Der AI Act ist kein reiner Bremsklotz für KI-Innovation, sondern ein Wegweiser für verantwortungsvollen Einsatz. Unternehmen, die bereits ein ISMS aufgebaut haben, verfügen über ideale Strukturen, um die neuen Anforderungen nicht nur zu erfüllen, sondern auch aktiv zu gestalten. Wer jetzt handelt, schafft nicht nur Rechtssicherheit, sondern auch Vertrauen bei Kunden, Mitarbeitenden und Partnern.

Tipp: Nutzen Sie die nächsten Monate, um eine interne Projektgruppe zum Thema AI Act & ISMS zu bilden. Eine frühzeitige Auseinandersetzung spart später Kosten und verhindert Compliance-Risiken.

Einleitung

Künstliche Intelligenz (KI) ist längst Teil unseres beruflichen und privaten Alltags – von automatisierten Chatbots bis hin zu Entscheidungsunterstützungssystemen in sensiblen Bereichen wie Personalwesen, Gesundheit oder kritischer Infrastruktur. Mit dem EU AI Act hat die Europäische Union im Jahr 2024 den weltweit ersten umfassenden Rechtsrahmen für den verantwortungsvollen Einsatz von KI geschaffen. Für Unternehmen bedeutet das: Neue Pflichten, klare Verbote, aber auch eine Chance, Vertrauen und Sicherheit in der digitalen Transformation zu stärken.

In diesem Artikel zeige ich, wie sich die Anforderungen des AI Acts konkret auf Unternehmen auswirken – insbesondere, wenn bereits ein Informationssicherheitsmanagementsystem (ISMS) nach ISO/IEC 27001 besteht. Du erfährst, welche Schritte jetzt notwendig sind, wo typische Herausforderungen lauern und wie sich KI-Risiken pragmatisch und gesetzeskonform in bestehende Sicherheitsprozesse integrieren lassen.

Perfekt – hier kommt ein ausführlicher Abschnitt, wie du KI-Risiken im ISMS systematisch betrachten, bewerten und kontrollieren kannst. Ich habe dir am Ende auch 5 realistische Risiken und passende Maßnahmen bzw. Kontrollen ergänzt.


KI in der Risikobetrachtung im ISMS integrieren – Schritt für Schritt

Warum KI in der ISMS-Risikoanalyse berücksichtigt werden muss

Mit der zunehmenden Integration von Künstlicher Intelligenz in Geschäftsprozesse – sei es zur Entscheidungsunterstützung, in Kundeninteraktionen oder zur Automatisierung – entstehen neue Risiken, die klassische Sicherheitsmodelle oft nicht vollständig abdecken. Während ein Informationssicherheitsmanagementsystem (ISMS) nach ISO 27001 dazu dient, Risiken für Vertraulichkeit, Integrität und Verfügbarkeit von Informationen systematisch zu managen, bringt KI zusätzliche Dimensionen mit sich: Unvorhersehbarkeit, Erklärbarkeit, ethische Auswirkungen und neue regulatorische Anforderungen wie durch den AI Act.

Die Einbindung von KI-Risiken in die ISMS-Risikoanalyse dient daher nicht nur der Einhaltung gesetzlicher Vorgaben, sondern vor allem auch dem Schutz von Menschen, Prozessen und der Unternehmensreputation. Sie schafft ein Bewusstsein dafür, dass nicht nur klassische IT-Komponenten, sondern auch algorithmische Systeme kritische Auswirkungen auf Geschäftsentscheidungen und den Umgang mit Daten haben können.

Dazu ist es notwendig, KI-Systeme überhaupt als „Assets“ zu identifizieren – also als schützenswerte, bewertbare Bestandteile der Informationsverarbeitung. Nur wenn bekannt ist, welche Systeme wo eingesetzt werden, kann auch eine fundierte Bewertung erfolgen. Die Risikobetrachtung ermöglicht es anschließend, diese Systeme nach Eintrittswahrscheinlichkeit und möglichem Schaden zu klassifizieren – beispielsweise, ob sie sich auf Einzelpersonen auswirken, Geschäftsprozesse stören oder regulatorische Konflikte verursachen könnten.

Besondere Bedeutung erhält in diesem Kontext auch die Art und Weise, wie Entscheidungen durch KI getroffen werden. Denn viele Systeme – gerade im Bereich des maschinellen Lernens – sind für Menschen schwer nachvollziehbar. Das stellt klassische Kontrollmechanismen vor Herausforderungen. Deshalb müssen neue Kontrollinstrumente (z. B. „Human-in-the-Loop“-Mechanismen oder Transparenzanforderungen) bewusst in bestehende Prozesse eingebettet werden.

Insgesamt trägt die Integration von KI-Risiken in die ISMS-Logik dazu bei, Vertrauen zu schaffen: bei Kunden, Mitarbeitenden, Aufsichtsbehörden – und nicht zuletzt im Unternehmen selbst. Sie schafft eine strukturierte Grundlage für den verantwortungsvollen Umgang mit einer Technologie, die zwar enormes Potenzial bietet, aber ebenso neue Verantwortung mit sich bringt.

1. Einordnung als Asset

Zuerst sollten KI-Systeme im Asset Management erfasst werden – sowohl eigene als auch zugekaufte oder in der Cloud genutzte (z. B. GPT-Integrationen). Trage folgende Informationen ein:

  • Name und Beschreibung des KI-Systems
  • Verantwortliche Person / Team
  • Zweck (z. B. Entscheidungshilfe, Automatisierung)
  • Eingesetzte Datenarten (z. B. personenbezogen, vertraulich)
  • Technologische Basis (z. B. LLM, neuronales Netz)

2. Risikobetrachtung

Nutze deine bestehende ISMS-Risikoanalyse (z. B. basierend auf ISO 27005 oder dem BSI-Grundschutz), um spezifische Risiken durch KI zu erfassen:

Beachte dabei folgende Betrachtungspunkte:

  • Transparenz: Ist das Ergebnis nachvollziehbar?
  • Bias / Diskriminierung: Kann das Modell unfaire Entscheidungen treffen?
  • Datenschutz: Werden personenbezogene Daten verwendet/verarbeitet?
  • Manipulation: Ist das System angreifbar durch falsche Eingaben (Prompt Injection etc.)?
  • Abhängigkeit: Was passiert, wenn die KI ausfällt oder sich unkontrolliert verhält?

3. Einstufung des Risikos

Nutze deine bestehende Risikomatrix (Wahrscheinlichkeit x Auswirkung) und stufe das KI-Risiko dort ein. Dabei hilft es, auch die Einstufung aus dem AI Act mit zu übernehmen:

  • Geringes Risiko (z. B. automatisierte Texte)
  • Mittleres Risiko (z. B. Bewerber-Scoring ohne automatische Entscheidung)
  • Hohes Risiko (z. B. Kreditentscheidung, Personaleinsatzplanung)
  • Unzulässig (z. B. Emotionserkennung am Arbeitsplatz → direkt eliminieren)

4. Benennung und Formulierung

Benenne das Risiko präzise, z. B.:

„Fehlentscheidung durch nicht nachvollziehbare KI-Auswertung im automatisierten Kundenbewertungssystem (Bias + Blackbox-Modell)“

Nutze eine einheitliche Vorlage wie:

  • Bedrohung
  • Betroffener Prozess / Asset
  • Eintrittswahrscheinlichkeit
  • Auswirkung (Vertraulichkeit, Integrität, Verfügbarkeit, Fairness, Rechtssicherheit)
  • Bewertung
  • Maßnahmen / Controls

Mögliche Kontrollen im ISMS zur Absicherung von KI

Kontrolle Beschreibung

  • KI-Policy / Nutzungsrichtlinie - Festlegen, welche KI-Systeme erlaubt sind und wie sie verwendet werden dürfen
  • AI Risk Checklist - Standardisierte Fragen zur Bewertung neuer KI-Systeme vor Einsatz
  • Model-Governance - Dokumentation, wer das Modell trainiert hat, mit welchen Daten, wofür es dient
  • Human in the Loop - Sicherstellen, dass kritische Entscheidungen nicht rein automatisiert erfolgen
  • Logging & Monitoring - Protokollierung von KI-Eingaben, -Ausgaben und -Fehlverhalten
  • Trainings und Awareness - AI Literacy für Nutzer – Risiken, Grenzen und Meldewege bei Problemen
  • Zulassungspflicht für neue KI-Systeme - Review durch ISMS-/DSGVO-Verantwortliche vor Einführung

Fünf realistische Risiken durch KI im Unternehmen

Risiko Beschreibung Mögliche Maßnahmen

1. Diskriminierung durch Bias

KI trifft Entscheidungen (z. B. bei Bewerbungen), die unbewusst benachteiligend wirken

Testdatensätze diversifizieren, menschliche Überprüfung, Bias-Check

2. Verstoß gegen DSGVO

KI verarbeitet personenbezogene Daten ohne klare Rechtsgrundlage

DPIA, Datenschutz-Check, Zweckbindung dokumentieren

3. Fehlentscheidungen durch Blackbox

Entscheidungen sind nicht erklärbar, z. B. bei Scoring oder Ablehnung

Explainability-Tools, Dokumentation der Kriterien, „Human Oversight“

4. Prompt Injection / Manipulation

Nutzer*innen bringen die KI durch clevere Eingaben zu ungewolltem Verhalten

Eingabefilter, Protokollierung, Rollenrechte

5. Reputationsverlust durch fehlerhafte Outputs

Automatisierte Texte oder E-Mails mit Falschinformationen oder unpassendem Ton

Freigabeprozesse, Markierung als „KI-generiert“, Monitoring durch Menschen

Absicherung aus dem Risiko heraus: Schutzmaßnahmen gezielt umsetzen

Nach der Risikobewertung beginnt der entscheidende Schritt: die Ableitung geeigneter technischer und organisatorischer Schutzmaßnahmen, um erkannte Schwachstellen zu minimieren und die Auswirkungen im Ernstfall zu begrenzen. Gerade im Kontext von KI-Systemen, die sensibel mit Daten und Entscheidungen umgehen, gilt es, gezielt in Vertrauens- und Schutztechnologien zu investieren.

Für viele Unternehmen stellt sich die Frage: „Müssen wir das wirklich alles machen?“ – Die Antwort lautet: Ja – wenn man Verantwortung ernst nimmt. Gerade Unternehmen, die bereits ein ISMS betreiben, haben einen immensen Vorteil: Sie verfügen bereits über die Grundstrukturen, in die sich auch KI-bezogene Risiken und Business-Continuity-Maßnahmen ohne großen Mehraufwand integrieren lassen. Es ist kein Neuanfang nötig – nur eine bewusste Erweiterung des bestehenden Sicherheitsdenkens.

Die Einführung von KI bringt neue Abhängigkeiten, neue Unsicherheiten – und neue Chancen. Aber: Was heute wie ein Komfortfeature wirkt, kann morgen zum kritischen Engpass werden. Wenn ein KI-Modul falsch entscheidet, ausfällt, manipuliert wird oder plötzlich personenbezogene Daten leakt, steht oft nicht nur der Prozess, sondern das ganze Unternehmen unter Druck. Und das kann sehr schnell sehr teuer werden – finanziell, rechtlich und reputativ.

Ein Unternehmen, das sich bereits vor einem Vorfall mit Schutzmaßnahmen, Fallbacks und Meldewegen beschäftigt hat, spart im Ernstfall nicht nur Zeit – es zeigt auch: Wir haben Verantwortung übernommen. Gegenüber den eigenen Mitarbeitenden, deren Daten und Arbeitsprozesse geschützt werden. Gegenüber Kunden, die Vertrauen erwarten. Und gegenüber Behörden, die Transparenz fordern.

Es ist wichtig zu verstehen, dass Business Continuity Management (BCM) im Kontext von KI keine Kür mehr ist – sondern Pflicht. Nicht als gesetzliche Vorgabe (noch nicht überall), sondern als logische Konsequenz aus dem eigenen Selbstverständnis: Wer mit neuen Technologien arbeitet, übernimmt auch neue Verantwortung.

Und das Beste: Die meisten Sicherheitsmaßnahmen lassen sich mit den vorhandenen Strukturen des ISMS umsetzen. Ob Logging, Eskalationspläne, Incident-Prozesse, Test-Szenarien oder Awareness-Kampagnen – alles ist bereits da. Es muss nur bewusst genutzt und leicht erweitert werden.

Ein ISMS ist kein starres Konstrukt – es ist ein lebendiges System, das mit den Risiken wächst. Wer sich jetzt vorbereitet, spart später nicht nur Kosten – sondern sichert die Zukunftsfähigkeit seines Unternehmens.


Mögliche technische Absicherungen

  • DLP-Systeme (Data Loss Prevention):
    Schutz vor ungewolltem Abfluss sensibler Daten durch KI-Systeme, z. B. bei der Nutzung von Sprachmodellen mit personenbezogenen Informationen.
  • Verschlüsselung und Pseudonymisierung:
    Sicherstellen, dass Daten verschlüsselt verarbeitet werden – insbesondere bei Cloud-KI-Diensten oder extern gehosteten Modellen.
  • Kontrollierte Anbieterwahl & Datenhoheit:
    Auswahl vertrauenswürdiger Anbieter, idealerweise mit europäischer Serverstandortgarantie, und klaren SLAs. Wo möglich, lokal gehostete KI-Modelle nutzen (Edge-KI, On-Premises-LLMs).
  • Rollen- und Berechtigungskonzepte:
    KI-Systeme nur für autorisierte Rollen zugänglich machen, insbesondere bei Systemen mit Entscheidungsgewalt (HR, Finanzen, Legal).
  • Begrenzung des Funktionsumfangs:
    Nur notwendige Funktionen aktivieren („Purpose Binding“), z. B. keine automatische Entscheidung ohne menschliche Freigabe.
  • Notfallkonzepte und Offline-Fallbacks:
    Prozesse definieren, die auch ohne KI fortgeführt werden können (z. B. manuelle Prüfung), um die Abhängigkeit im Krisenfall zu reduzieren.


Recovery-Tests und Szenarien

Neben dem reinen Schutz ist es essenziell, regelmäßig zu prüfen, ob Systeme und Organisation resilient gegenüber Fehlern oder Ausfällen sind. Dazu gehören gezielte Testszenarien:

  • Prompt Manipulation → Wird eine falsche Eingabe korrekt erkannt oder reproduziert sie sich fehlerhaft weiter?
  • Ausfall der API-Verbindung zum KI-Dienst → Wie lange bleibt das System nutzbar? Gibt es Fallbacks?
  • Falsche Entscheidung durch Bias / Trainingfehler → Wird der Fehler erkannt? Gibt es eine Reklamations- oder Korrekturschleife?
  • Datenschutzverletzung durch ungewollte Übertragung → Wie reagiert das DLP? Wird eine Meldung erzeugt?
  • Fehlfunktion nach Update der KI-Komponente → Gibt es Rollback-Möglichkeiten und Tests im Staging-Umfeld?

Solche Tests sollten Teil der Business Continuity Pläne und des ISMS-Testprogramms sein. Sie helfen nicht nur, Risiken zu kontrollieren, sondern auch, Verantwortung und Sicherheitsdenken im Unternehmen zu verankern.

Compliance & Governance: KI-Anwendungen rechtssicher steuern

Die Einführung von KI-Systemen in Unternehmen ist nicht nur eine technische Frage – sie ist eine rechtliche, ethische und organisatorische Herausforderung. Spätestens mit dem Inkrafttreten des AI Acts wird klar: Die Einhaltung der gesetzlichen Anforderungen muss strukturiert erfolgen – und zwar je nach Art und Komplexität des KI-Einsatzes (Granularität) in unterschiedlicher Tiefe.

Ein einfacher KI-Textgenerator für interne Vorschläge braucht vielleicht nur eine Kennzeichnung und Sensibilisierung, während ein automatisiertes System zur Bewerberauswahl detaillierte Dokumentation, Rechtsprüfung, Risikobewertung und eine explizite Zustimmung durch das Management erfordert. Die Genauigkeit der Umsetzung wächst mit dem potenziellen Einfluss auf Menschen, Rechte und Entscheidungen.

Wichtig: Die Verpflichtung betrifft nicht nur die IT oder das Compliance-Team – jede Organisation muss sich aktiv mit dem Thema auseinandersetzen. Das Management ist gefordert, sich offen zur Einhaltung des AI Acts zu bekennen, die Verantwortung dafür vertraglich sauber zu verankern (z. B. mit Lieferanten oder Dienstleistern) und gegenüber Mitarbeitenden klar zu kommunizieren, welche KI-Systeme wie eingesetzt werden und welche Rechte sie dabei haben.

Denn es geht nicht nur um technische Konformität – es geht um Grundrechte. Um Vertrauen. Um die Sicherheit und Würde der Menschen, deren Daten verarbeitet oder deren Verhalten durch KI beeinflusst wird. KI-Systeme können Entscheidungen vorstrukturieren oder beeinflussen – deshalb ist es umso wichtiger, dass Mitarbeitende verstehen, wo KI eingesetzt wird, wie sie funktioniert, und wie sie ggf. Bedenken oder Missbrauch melden können.

Diese Kommunikation ist nicht optional: Sie muss sich sowohl in der internen Schulung als auch in öffentlich zugänglichen Dokumenten (z. B. Datenschutzerklärung, interner Richtlinien, Onboarding-Materialien) widerspiegeln. Die Einhaltung des AI Acts ist damit nicht nur ein Akt der Compliance, sondern auch ein Ausdruck einer verantwortungsvollen, menschenzentrierten Unternehmenskultur.

Unternehmen sind verpflichtet, den Einsatz von KI-Systemen rechtskonform zu gestalten – insbesondere im Hinblick auf die Vorgaben des EU AI Acts.

Dieser fordert unter anderem:

  • Transparenzpflichten: Nutzer müssen erkennen können, dass sie mit einer KI interagieren.
  • Kennzeichnungspflichten: KI-generierte Inhalte (Texte, Bilder, Entscheidungen) sind eindeutig zu markieren.
  • Verbotene Anwendungen: Bestimmte KI-Einsatzszenarien (z. B. Social Scoring, biometrische Kategorisierung, manipulative Systeme) dürfen nicht verwendet werden.

Diese Anforderungen lassen sich effizient ins bestehende ISMS einbetten und durch klare Verantwortlichkeiten, dokumentierte Prozesse und regelmäßige Kontrollen sicherstellen.

Umsetzung im ISMS – Best Practices

Policy-Integration:
KI-spezifische Anforderungen sollten entweder in einer eigenen AI Policy behandelt oder in bestehende Richtlinien integriert werden:

  • Information Security Policy:
    „Der Einsatz von KI-Systemen im Unternehmen ist nur nach Prüfung durch das ISMS-Team und unter Einhaltung des AI Act zulässig.“
  • Data Protection Policy:
    „Personenbezogene Daten dürfen nur in KI-Systemen verarbeitet werden, wenn der Zweck klar dokumentiert, die Rechtsgrundlage nachgewiesen und ein Datenschutz-Folgenabschätzung (DPIA) durchgeführt wurde.“
  • Risk Management Policy:
    „KI-Systeme sind in die Risikobewertung aufzunehmen. Hochrisiko-Anwendungen benötigen eine gesonderte Dokumentation und Freigabe.“
  • Supplier Security Policy:
    „Lieferanten, die KI-gestützte Dienste bereitstellen, müssen ihre Konformität mit dem AI Act nachweisen (z. B. durch Auditberichte, Dokumentation, Risikoabschätzung).“

Governance-Struktur:
Definiere eine verantwortliche Rolle – z. B. AI Compliance Officer oder ISMS-Beauftragter mit Zusatzverantwortung – zur Überwachung von KI-bezogenen Anforderungen und Prozessen.


Interne Audits & Nachvollziehbarkeit

Regelmäßige ISMS-Audits sollten um KI-spezifische Fragestellungen erweitert werden. Folgende 5 Prüfbereiche sind besonders geeignet:

  1. Verwendete Trainingsdaten prüfen:
    → Gibt es Nachweise über die Herkunft, Qualität und Datenschutzkonformität der Daten?
  2. Transparenzprüfung:
    → Werden Nutzer über den Einsatz von KI informiert (z. B. in UI, Dokumentation, E-Mail-Signatur)?
  3. Modellverwendung dokumentiert:
    → Gibt es ein System, das beschreibt, welche KI-Modelle wo und wie eingesetzt werden?
  4. Zweckbindung & Legitimität:
    → Ist der Einsatzzweck dokumentiert und mit internen Richtlinien und Datenschutzvorgaben abgestimmt?
  5. Verbotene Anwendungen identifiziert und ausgeschlossen:
    → Wurde geprüft, ob Systeme Merkmale enthalten, die inakzeptabel oder illegal sind (z. B. Emotionserkennung)?

Schulungen & Bewusstseinsbildung: KI-Verständnis als Teil der Sicherheitskultur

Die Auseinandersetzung mit KI gehört längst nicht mehr nur in Tech-Abteilungen – KI ist bereits jetzt in fast allen Geschäftsbereichen präsent: sei es durch automatische Textvorschläge, Analysefunktionen, Chatbots, Bildgeneratoren oder Entscheidungsunterstützungssysteme. Der KI-Einsatz wird in den kommenden Jahren weiter zunehmen – oft auch unbemerkt oder in Form von „Embedded AI“ in alltäglichen Tools. Umso wichtiger ist es, das Verständnis für Risiken und Chancen breit im Unternehmen zu verankern, und zwar nicht erst, wenn etwas schiefgeht.

Die gute Nachricht: Eine solche Schulung ist mit überschaubarem Aufwand realisierbar, gerade wenn sie als Modul ins bestehende ISMS-Trainingsprogramm eingebettet wird. Gleichzeitig eröffnet sie viele positive Nebeneffekte: Sie fördert die digitale Kompetenz, stärkt das Verantwortungsbewusstsein der Mitarbeitenden und bietet dem Unternehmen die Möglichkeit, Fähigkeiten besser zu erkennen.

Ein durchdachtes Quiz mit realistischen Szenarien kann dabei nicht nur den Wissensstand überprüfen, sondern auch erste Anhaltspunkte für die Reflexions- und Analysefähigkeit einzelner Teams oder Rollen geben. So kann HR gemeinsam mit ISMS-Verantwortlichen besser planen, wo gezielte Vertiefungsschulungen oder neue Rollen notwendig wären.

Nicht zuletzt hilft Bildung immer dabei, Komplexität zu durchdringen – und gerade beim Thema KI und Informationssicherheit ist Verständnis der Schlüssel zu Vertrauen und verantwortungsvollem Handeln. Auch das ISMS selbst profitiert davon, wenn es regelmäßig reflektiert, wie sich KI auf Vertraulichkeit, Integrität und Verfügbarkeit von Informationen auswirkt – und welche organisatorischen Maßnahmen daraus folgen sollten.

Der AI Act verpflichtet Unternehmen, sicherzustellen, dass alle Personen, die mit KI-Systemen arbeiten oder in deren Entscheidungsfindung eingebunden sind, über ausreichende Kompetenz im Umgang mit KI verfügen. Diese sogenannte AI Literacy ist keine einmalige Maßnahme, sondern Teil eines kontinuierlichen Prozesses – vergleichbar mit Security Awareness – und sollte daher fester Bestandteil des ISMS-Schulungs- und Awareness-Plans sein.

Integration in bestehende Trainingsprogramme

Unternehmen können durch die Ergänzung bestehender ISMS-Trainingsmodule mit KI-spezifischen Inhalten schnell und wirksam erste Grundlagen schaffen. Eine eigene „AI Awareness“-Schulung sollte verpflichtend für jene sein, die:

  • KI-Systeme auswählen, betreiben oder evaluieren,
  • mit personenbezogenen Daten im KI-Kontext arbeiten,
  • oder im strategischen Management Verantwortung tragen.

Diese Schulung sollte regelmäßig überprüft und bei technischen oder regulatorischen Entwicklungen (z. B. Änderungen im AI Act, neue Risikomodelle) aktualisiert werden.

Tipp: Auch für ISM-Teams und CISOs wird eine tiefere Beschäftigung mit KI-Technologien und -Governance zunehmend wichtig. Unternehmen sollten Weiterbildungsbudgets bereitstellen und bewusst in Fortbildungen investieren, da KI langfristig eine Schlüsselrolle im Bereich Informationssicherheit und Compliance einnehmen wird.

Tiefe und Inhalte der Schulung

Der Inhalt der Schulung sollte zielgruppenspezifisch abgestuft sein. Während eine Entwicklerin oder Datenanalyst*in technische Risiken und Modelltransparenz verstehen muss, reichen für Mitarbeitende aus dem Marketing oder HR oft Grundlagen zu Risiken, Fairness und DSGVO-Bezug.

Mögliche Inhalte:

  • Was ist KI und welche Arten gibt es? (Symbolische KI vs. maschinelles Lernen)
  • Was bedeutet „generative KI“?
  • Welche Risiken bestehen (z. B. Halluzinationen, Prompt Injection, Bias)?
  • Was verlangt der AI Act? (Verbotene Systeme, Transparenz, Kennzeichnung)
  • Wie erkenne ich problematische KI-Nutzung im Alltag?
  • Wann muss ich mich an ISMS- oder Datenschutzverantwortliche wenden?
  • Fallbeispiele für verantwortungsvollen Umgang mit KI
  • Konkrete Regeln und Vorgaben im eigenen Unternehmen

Quiz & Wissensnachweis

Ein abschließender Wissenstest (Quiz oder Multiple Choice) hilft dabei:

  • das Wissen zu verankern,
  • mögliche Verständnislücken zu identifizieren,
  • und die Erfüllung der Schulungspflicht nachzuweisen.

Wichtig bei der Erstellung:

  • Keine reinen „Ja/Nein“-Fragen, sondern kurze Entscheidungsszenarien
  • Abfragen von Verständnis, nicht nur Fakten (z. B. „Welche Maßnahme ist am sinnvollsten, wenn…“)
  • Fragen zu unternehmensspezifischen Richtlinien einbauen (z. B. „Wo finde ich die interne AI Policy?“)

Ressourcen und kostenlose Materialien für den Einstieg

Hier einige empfehlenswerte frei verfügbare Materialien für Awareness-Kampagnen oder als Grundlage für eigene Trainings:

  1. ENISA: AI Cybersecurity Training Slides
    https://www.enisa.europa.eu/publications/artificial-intelligence-threat-landscape
    → Enthält auch Awareness-Slides und Überblick über Bedrohungen.
  2. OECD AI Policy Observatory – Training Material
    https://oecd.ai/en/
    → Grundlagenwissen über KI, ethische Aspekte und Governance.
  3. Open Source Training Slides (GitHub)
    https://github.com/mlopsartifacts/ai-ethics-training
    → Ethik- und Awareness-Material für den internen Gebrauch.
  4. AI Literacy Slides (Creative Commons)
    https://teachablemachine.withgoogle.com
    → Interaktive Einführung, geeignet für Nicht-Techniker*innen.

Sehr gerne! Hier ist der erweiterte und strukturierte Abschnitt zu Dokumentation, Meldewegen, Incident-Management und NIS2-Verbindung, der alle von dir genannten Aspekte abdeckt – inklusive Logging, Beweissicherung, zuständige Behörden und ISMS-Integration:


Dokumentation, Meldewege und Incident-Management bei KI-Systemen

Ein wirksames Informationssicherheitsmanagementsystem (ISMS) steht und fällt mit der sorgfältigen Dokumentation und systematischen Behandlung von Vorfällen. Mit dem Einsatz von KI-Systemen – insbesondere bei Hochrisiko- oder generativen Anwendungen – steigen sowohl die Anforderungen als auch die Verantwortung in Bezug auf Transparenz, Nachvollziehbarkeit und Reaktion im Ernstfall.

Das Ziel eines effektiven Meldesystems im Kontext von KI liegt nicht primär in der Bürokratie – sondern im Schutz von Menschen, Systemen und Vertrauen. KI-Systeme treffen zunehmend Entscheidungen mit direkten Auswirkungen auf Individuen, etwa bei Bewerbungen, Kreditvergabe oder Gesundheitsvorsorge. Wenn dabei Fehler, Manipulationen oder Diskriminierungen auftreten, ist schnelles Handeln essenziell, um Schäden zu begrenzen oder ganz zu verhindern.

Je früher Behörden, interne Sicherheitsverantwortliche oder Datenschutzstellen informiert sind, desto gezielter und koordinierter kann reagiert werden – sei es durch technische Sofortmaßnahmen, rechtliche Einschätzungen oder externe Warnungen an andere betroffene Organisationen. In einer zunehmend vernetzten und KI-gestützten Infrastruktur kann aus einem isolierten Fehler schnell ein systemisches Risiko werden – Transparenz und Schnelligkeit sind daher zentrale Schutzmechanismen.

Zudem hilft eine rechtzeitige Meldung dabei, die eigene Verantwortung zu zeigen: Wer proaktiv kommuniziert, demonstriert Compliance und Integrität. Das schafft Vertrauen bei Aufsichtsbehörden, Partnern und der Öffentlichkeit – und kann im Ernstfall sogar strafmindernd oder haftungsreduzierend wirken.

Nicht zuletzt trägt ein offenes Meldewesen auch zur Weiterentwicklung des eigenen ISMS bei: Jeder Vorfall liefert wichtige Erkenntnisse über Schwachstellen, Missverständnisse oder Prozesslücken – und ermöglicht gezielte Verbesserungen, bevor größerer Schaden entsteht.

Kurz gesagt: Melden schützt – Menschen, Unternehmen und ganze Systeme.

Dokumentation & Berichterstattung

Für KI-Systeme müssen folgende Punkte nachvollziehbar dokumentiert werden:

  • Risikobewertungen (z. B. Bias, Datenherkunft, Funktionsweise)
  • Entscheidungslogik und Funktionsweise des Modells (soweit möglich)
  • durchgeführte Schulungen (Teilnehmer, Inhalte, Nachweise)
  • eingesetzte Datenarten und -quellen
  • technische und organisatorische Schutzmaßnahmen
  • aufgetretene Sicherheitsvorfälle mit Bezug zur KI (z. B. Manipulation, Fehlverhalten, Datenabfluss)

Diese Informationen sollten in einer eigenen Dokumentenklasse für „KI-Systeme“ oder „AI Controls“ im ISMS erfasst werden und regelmäßig (z. B. im jährlichen Review) aktualisiert werden.

Logging & Beweissicherung

Eine besondere Rolle spielt die lückenlose Protokollierung (Logging) zur späteren Analyse und Beweissicherung. Folgende Ereignisse sollten bei KI-Systemen standardmäßig geloggt werden:

  • Eingaben durch Nutzer (Prompt, Parameter)
  • erzeugte Ausgaben und Ergebnisse
  • interne Entscheidungen oder Bewertungen (Score, Zuordnung)
  • Änderungen an Konfigurationen, Modellen oder Trainingsdaten
  • Fehlermeldungen, Warnungen, ungewöhnliches Verhalten

Diese Logs sollten:

  • zeitlich präzise, fälschungssicher und revisionssicher gespeichert werden,
  • im Idealfall in ein zentrales SIEM oder Log-Management eingebunden sein,
  • und eine Aufbewahrungsfrist von mindestens 6–12 Monaten aufweisen, je nach Kritikalität.

Meldewege & behördliche Zuständigkeiten

Sollte ein sicherheitsrelevanter Vorfall mit KI-Systemen auftreten (z. B. Datenabfluss, Manipulation, Rechtsverletzung), müssen klare Meldewege etabliert sein – intern wie extern:

Interne Meldewege:

  • Sofortmeldung an ISMS- und Datenschutzteam
  • Bewertung durch Incident Response Team
  • ggf. Eskalation an CISO / Geschäftsleitung

Externe Meldepflichten (je nach Vorfalltyp):

  • Datenschutzbehörde (DSB): bei personenbezogenem Datenabfluss gemäß DSGVO Art. 33
  • NIS2-Kontaktstelle / nationale CERT (z. B. CERT.at): bei Ausfällen oder Angriffen mit Auswirkung auf kritische Dienste (innerhalb 24 Stunden!)
  • Aufsichtsbehörden im Rahmen AI Act: sobald systemisch gefährliches Verhalten oder verbotene Nutzung festgestellt wurde (konkretisiert sich ab 2025 mit nationaler KI-Aufsichtsbehörde)

Hinweis: Auch bei nicht meldepflichtigen Vorfällen ist eine interne Dokumentation im ISMS verpflichtend, um gegenüber Kunden, Partnern oder Behörden Auskunftsfähigkeit zu wahren.

Integration ins Incident-Management

KI-spezifische Vorfälle sollten explizit in den bestehenden Incident-Management-Prozess aufgenommen werden – idealerweise als eigene Incident-Kategorie (z. B. „AI Incident“). Empfohlen wird:

  • Anpassung des Incident Response Plans um KI-spezifische Checklisten
  • Einführung eines Bewertungsschemas für KI-bezogene Vorfälle (z. B. unerwünschte Ausgabe, Bias, Manipulation, Datenschutzverletzung)
  • Definition klarer Rollen: Wer bewertet, wer handelt, wer entscheidet?

Die KI-bezogene Vorfallanalyse sollte ebenfalls Bestandteil des Management Reviews sein – auch im Sinne der kontinuierlichen Verbesserung.

KI verändert nicht nur die Art, wie Unternehmen arbeiten – sondern auch, wie Vorfälle entstehen, entdeckt und gemeldet werden müssen. Eine gute technische Lösung alleine reicht nicht: Nur mit klaren Strukturen, vollständiger Dokumentation und einer gelebten Meldekultur lässt sich der Spagat zwischen Innovation und regulatorischer Sicherheit erfolgreich meistern.

Fazit: Der AI Act – weniger Hürde, mehr Chance

Auf den ersten Blick mag der EU AI Act einschüchternd wirken: neue Begriffe, neue Pflichten, neue Prozesse. Doch wer genauer hinsieht, erkennt schnell: Der Aufwand ist überschaubar – und der Nutzen enorm. Für Unternehmen, die bereits mit einem ISMS, einem Datenschutzmanagementsystem (DSM) oder einem integrierten Risikomanagement arbeiten, lässt sich der AI Act mit wenig zusätzlichem Aufwand elegant einbinden.

Viele der erforderlichen Maßnahmen – etwa Risikoanalysen, Dokumentation, Schulungen, Incident Management oder Lieferantenbewertungen – sind bereits Bestandteil etablierter Managementsysteme. Der AI Act ergänzt diese lediglich um neue, aber logische Perspektiven: Was bedeutet diese Technologie für Menschen? Für Fairness? Für Vertrauen?

Die Umsetzung wirkt oft schwieriger als sie tatsächlich ist. Wer bestehende Prozesse minimal erweitert, klare Zuständigkeiten schafft und das Thema schrittweise angeht, kann bereits mit wenigen Ressourcen einen großen Beitrag zur Rechtssicherheit und Innovationsfähigkeit seines Unternehmens leisten. Und: Jeder Schritt, den man jetzt setzt, spart später Zeit, Kosten und Stress.

Dass KI-Governance zur unternehmerischen Realität gehört, ist kein Zukunftsszenario mehr – es ist bereits Gegenwart. Die Datenschutz-Grundverordnung (DSGVO) war der Startschuss für ein neues Verständnis von Datensouveränität. Die NIS2-Richtlinie hat den Fokus auf kritische Infrastrukturen, Versorgungssicherheit und Resilienz gelegt. Und der AI Act führt diesen Weg konsequent weiter – indem er das Verhalten und die Auswirkungen autonomer Systeme in den Mittelpunkt stellt.

Egal, ob man mit einem ISMS, DSM, QM-System, einem Lieferantenbewertungssystem oder einem Governance-Framework arbeitet: Überall dort, wo Risiken betrachtet, dokumentiert und gesteuert werden, kann der AI Act sinnvoll integriert werden. Gerade im Supplier Management wird die KI-Konformität künftig zu einem zentralen Faktor – sei es bei Cloud-Tools, API-Diensten, generativer KI oder automatisierten Analyseplattformen.

Die Anforderungen des AI Acts sind dabei keine Bremsklötze, sondern Leitplanken für den verantwortungsvollen Umgang mit Technologien, die unsere Zukunft maßgeblich gestalten werden. Wer sie frühzeitig berücksichtigt, zeigt nicht nur regulatorische Weitsicht, sondern positioniert sich als verlässlicher, ethischer und innovativer Marktteilnehmer.

KI ist nicht nur ein technisches Thema – sie verändert unser Verständnis von Verantwortung, Steuerung und Zusammenarbeit. Und genau deshalb gehört sie in jedes Managementsystem der Zukunft.

Jetzt ist die beste Zeit, um damit zu beginnen.

Weiterführende Links & Ressourcen zum AI Act

  1. Digital Austria – Überblick zum AI Act
    https://www.digitalaustria.gv.at/themen/kuenstliche-intelligenz/ai-act/
    Offizielle Info der österreichischen Bundesregierung mit Zeitplan, Pflichten und Chancen für Unternehmen.
  2. Wirtschaftskammer Österreich – Der AI Act für Unternehmen
    https://www.wko.at/service/ai-act-kuenstliche-intelligenz.html
    → Praktische Erläuterungen für KMU, Gewerbe und Handwerk zu Pflichten, Einstufung und Umsetzung.
  3. USP.gv.at – Was Unternehmen jetzt wissen müssen
    https://www.usp.gv.at/aktuelles/ai-act-was-unternehmen-jetzt-wissen-muessen.html
    → Detaillierte Übersicht über Schulungspflichten, Strafen und risikobasierte Einstufung.
  4. Research Institute – Analyse der AI Act Artikel
    https://researchinstitute.at/news/ai-act-verpflichtungen-unternehmen-2025
    → Tiefgehende rechtliche Betrachtung mit Fokus auf Artikel 1–5 des AI Act und deren Auswirkungen.
  5. TÜV AI Act Risk Navigator
    https://www.tuev-lab.ai
    → Tool zur Bewertung eigener KI-Anwendungen nach Risikokategorien des AI Act.
  6. EU AI Act Compliance Checker
    https://www.artificialintelligenceact.eu
    → Online-Tool zur Prüfung der eigenen Compliance-Position und Vorbereitung auf gesetzliche Anforderungen.
  7. AI Act im EU-Amtsblatt (Originaltext)
    https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=OJ:L:2024:233:TOC
    → Rechtsverbindlicher Text der Verordnung im Originalwortlaut für tiefergehende Recherchen.


Ergänzende Aspekte: Synergien nutzen statt neu erfinden

Die Anforderungen des AI Acts lassen sich nicht nur in bestehende ISMS-Strukturen integrieren – sie überschneiden sich in vielen Bereichen auch mit anderen etablierten Managementsystemen. Neben dem ISMS (ISO/IEC 27001) spielt dabei zunehmend die neue Norm ISO/IEC 42001 – Artificial Intelligence Management System (AIMS) eine zentrale Rolle. Sie wurde speziell entwickelt, um Unternehmen beim systematischen, ethischen und regelkonformen Einsatz von KI zu unterstützen – und deckt viele Aspekte ab, die im AI Act verpflichtend geregelt sind, etwa Risikobewertung, Transparenz, Nachvollziehbarkeit und Governance.

Wird AIMS zusätzlich zum ISMS eingeführt, ergeben sich zahlreiche Synergien, da beide Systeme auf ähnlichen Prinzipien basieren: Kontextanalyse, Führung, Planung, Betrieb, Bewertung und kontinuierliche Verbesserung. Anstatt parallele Strukturen aufzubauen, können viele Prozesse gemeinsam genutzt oder modular erweitert werden – beispielsweise für Risikoanalyse, Incident Management, Schulungen oder Lieferantenbewertung.

Auch bestehende Qualitätsmanagementsysteme (QMS) wie nach ISO 9001 oder Umweltmanagementsysteme nach ISO 14001 bieten Anknüpfungspunkte. Unternehmen sollten diese Systeme kritisch darauf prüfen, ob und wie sie regulatorische Anforderungen aus dem AI Act abbilden können. Besonders im Bereich der Produkt- und Dienstleistungsentwicklung, Kundenkommunikation und Lieferantenlenkung ergeben sich Überschneidungen, die effizient genutzt werden können.