Inhaltsverzeichnis
Warum KI-Governance im Mittelstand jetzt relevant wird
KI ist im Mittelstand angekommen. Nicht immer als großes Transformationsprojekt. Häufig leiser.
Ein Vertriebsteam nutzt KI für Angebote. HR für Stellenanzeigen. Marketing für Texte. Controlling für Auswertungen. Führungskräfte für Gesprächsvorbereitung. Mitarbeitende für E-Mails. Die IT prüft Tools. Anbieter integrieren KI-Funktionen in bestehende Software. Plötzlich ist KI da, bevor das Unternehmen entschieden hat, wie es damit umgehen will.
Das ist der klassische Moment für Governance. Nicht, weil alles gefährlich ist. Sondern weil ungeordnete Nutzung irgendwann selbst zum Risiko wird.
1. KI ist kein reines IT-Thema
IT kann KI-Systeme technisch prüfen, absichern und betreiben. Aber KI-Governance geht weiter.
Sie betrifft Unternehmensführung, Recht, Datenschutz, Betriebsrat, HR, Einkauf, Fachbereiche, Compliance, Informationssicherheit, Geschäftsgeheimnisse und manchmal auch Kundenverträge.
Zu klären sind insbesondere
- -Wer entscheidet über KI-Tools?
- -Wer prüft Datenschutz?
- -Wer prüft Anbieterbedingungen?
- -Wer prüft Betriebsratsfragen?
- -Wer schult Mitarbeitende?
- -Wer prüft Ergebnisse?
- -Wer dokumentiert Freigaben?
- -Wer entscheidet über risikoreiche Anwendungen?
- -Wer stoppt eine Nutzung?
- -Wer berichtet an die Geschäftsführung?
KI-Governance beginnt dort, wo man aufhört, KI als Tool-Frage zu behandeln. Ein Tool kann praktisch sein. Verantwortung bleibt trotzdem im Unternehmen.
2. Rollen im AI Act früh prüfen
Der AI Act unterscheidet verschiedene Rollen. Je nach Situation kann ein Unternehmen etwa Anbieter, Betreiber, Einführer, Händler oder Produktverantwortlicher sein. Diese Rollen können unterschiedliche Pflichten auslösen.
Viele mittelständische Unternehmen werden KI zunächst als Betreiber nutzen. Das bedeutet aber nicht, dass die Rolle immer einfach bleibt. Wer KI-Systeme selbst entwickelt, wesentlich verändert, unter eigenem Namen bereitstellt oder in Produkte und Prozesse integriert, sollte die eigene Rolle sorgfältig prüfen.
Zu klären sind insbesondere
- -Nutzen wir KI nur intern?
- -Stellen wir KI-Funktionen Kunden bereit?
- -Verändern wir ein KI-System wesentlich?
- -Integrieren wir KI in Produkte oder Dienstleistungen?
- -Treten wir unter eigenem Namen auf?
- -Nutzen wir Hochrisiko-Anwendungen?
- -Sind Mitarbeitende oder Bewerber betroffen?
- -Sind Kunden oder Verbraucher betroffen?
- -Welche Dokumentation brauchen wir?
- -Welche Pflichten können aus unserer Rolle folgen?
Die gefährlichste Rolle ist oft die, die man gar nicht geprüft hat. Wer sich automatisch für bloßen Nutzer hält, sollte zumindest wissen, warum.
3. KI-Inventar und Anwendungsfälle
Unternehmen können KI nur steuern, wenn sie wissen, wo KI genutzt wird.
Ein KI-Inventar muss kein bürokratisches Monster sein. Aber es sollte die wesentlichen Anwendungen sichtbar machen: Tool, Zweck, Fachbereich, Daten, Anbieter, Risiko, Freigabe, Verantwortlicher und Prüfstatus.
Zu erfassen sind insbesondere
- -Name des KI-Tools
- -Anbieter
- -Fachbereich
- -Zweck der Nutzung
- -genutzte Datenarten
- -personenbezogene Daten
- -Beschäftigtendaten
- -Geschäftsgeheimnisse
- -Kundenbezug
- -Betriebsratsbezug
- -Risikoeinschätzung
- -Freigabestatus
- -Verantwortliche Person
- -Prüfdatum
Was niemand erfasst, kann niemand steuern. Das klingt trocken. Ist aber der Unterschied zwischen Governance und gut gelauntem Kontrollverlust.
4. Risikoklassen und Freigabeprozesse
Nicht jede KI-Nutzung ist gleich riskant.
Eine allgemeine Formulierungshilfe ohne vertrauliche Daten ist anders zu bewerten als KI im Recruiting, in der Leistungsbewertung, in der Kundenklassifizierung, in der Kreditentscheidung, in der Vertragsanalyse, in medizinischen, technischen oder sicherheitsrelevanten Prozessen.
Unternehmen sollten deshalb mit Risikostufen arbeiten.
Mögliche Kategorien
Eine gute KI-Governance verbietet nicht alles. Sie unterscheidet. Genau das macht sie im Alltag brauchbar.
5. Datenschutz und Beschäftigtendaten
KI-Governance muss Datenschutz früh einbinden.
Je nach Nutzung können personenbezogene Daten, Kundendaten, Bewerberdaten, Beschäftigtendaten, Leistungsdaten, Kommunikationsdaten, Gesundheitsdaten oder Standortdaten betroffen sein.
DSGVO Art. 5 regelt Grundsätze der Verarbeitung. Art. 6 betrifft Rechtsgrundlagen. Art. 28 kann bei Auftragsverarbeitung relevant werden. Art. 32 betrifft Sicherheit der Verarbeitung. Art. 35 kann bei Datenschutz-Folgenabschätzung relevant werden. Art. 88 DSGVO und BDSG Paragraph 26 können im Beschäftigtendatenschutz relevant werden.
Zu prüfen sind insbesondere
- -Welche personenbezogenen Daten werden verarbeitet?
- -Welche Rechtsgrundlage besteht?
- -Ist Datenminimierung gewahrt?
- -Liegt Auftragsverarbeitung vor?
- -Gibt es Drittlandtransfers?
- -Ist eine Datenschutz-Folgenabschätzung zu prüfen?
- -Sind Beschäftigtendaten betroffen?
- -Wer hat Zugriff auf Eingaben und Ergebnisse?
- -Wie werden Daten gelöscht?
- -Welche Sicherheitsmaßnahmen bestehen?
KI darf nicht deshalb mehr Daten bekommen, weil sie mehr kann. Datenverarbeitung braucht Zweck, Grenze und Verantwortung.
Quellen: DSGVO Art. 5, Art. 6, Art. 28, Art. 32, Art. 35, Art. 88, BDSG Paragraph 26
6. Betriebsrat und Mitbestimmung
Besteht ein Betriebsrat, sollte KI-Governance Mitbestimmung früh berücksichtigen.
BetrVG Paragraph 87 kann insbesondere bei technischen Einrichtungen relevant werden, die dazu bestimmt sind, Verhalten oder Leistung der Arbeitnehmer zu überwachen. Auch Ordnung des Betriebs, Arbeitszeit, Leistungsdaten, HR-Software oder KI-gestützte Prozesse können je nach Ausgestaltung Mitbestimmungsfragen auslösen.
Das bedeutet nicht, dass jede KI-Nutzung automatisch mitbestimmungspflichtig ist. Es bedeutet: Die konkrete Nutzung muss geprüft werden.
Zu klären sind insbesondere
- -Besteht ein Betriebsrat?
- -Welche KI-Systeme betreffen Mitarbeitende?
- -Werden Leistungs- oder Verhaltensdaten verarbeitet?
- -Gibt es Protokolle, Nutzungsdaten oder Auswertungen?
- -Wird KI in HR-Prozessen genutzt?
- -Wird KI bei Arbeitszeit oder Einsatzplanung genutzt?
- -Gibt es bestehende Betriebsvereinbarungen?
- -Ist eine neue Betriebsvereinbarung erforderlich?
- -Wann wird der Betriebsrat informiert?
- -Wer führt die Gespräche?
Mitbestimmung ist kein Update-Hinweis. Wenn sie relevant ist, gehört sie in den Einführungsprozess. Nicht in die nachträgliche Erklärung.
Quelle: BetrVG Paragraph 87
7. Geschäftsgeheimnisse und vertrauliche Informationen
KI-Governance muss klären, welche Informationen nie oder nur in freigegebenen Systemen verarbeitet werden dürfen.
GeschGehG Paragraph 2 definiert Geschäftsgeheimnisse unter anderem als Informationen, die geheim sind, von wirtschaftlichem Wert sind und Gegenstand angemessener Geheimhaltungsmaßnahmen sind.
Für Unternehmen bedeutet das: KI-Regeln, Zugriffskonzepte, Tool-Freigaben und Schulungen können Teil angemessener Schutzmaßnahmen sein.
Zu prüfen sind insbesondere
- -Welche Informationen gelten als vertraulich?
- -Welche Informationen sind Geschäftsgeheimnisse?
- -Welche Daten dürfen nicht in externe KI-Tools eingegeben werden?
- -Welche Tools sind für vertrauliche Inhalte freigegeben?
- -Welche Schutzmaßnahmen bestehen?
- -Wie werden Mitarbeitende geschult?
- -Wie werden Verstöße behandelt?
- -Wie wird dokumentiert, dass Schutzmaßnahmen bestehen?
Geschäftsgeheimnisse verschwinden selten dramatisch. Manchmal werden sie einfach in ein Tool kopiert, weil jemand schneller fertig werden wollte.
Quelle: GeschGehG Paragraph 2
8. Anbieterprüfung und Verträge
KI-Governance braucht eine saubere Anbieterprüfung.
Nicht jedes KI-Tool eignet sich für Unternehmensnutzung. Entscheidend sind nicht nur Funktionsumfang und Preis, sondern auch Anbieterbedingungen, Datenverarbeitung, Trainingsnutzung, Auftragsverarbeitung, Speicherorte, Unterauftragnehmer, Sicherheit, Nutzungsrechte, Haftung, Verfügbarkeit, Support und Exit.
Zu prüfen sind insbesondere
- -Wer ist Anbieter?
- -Welche Leistung wird vertraglich zugesagt?
- -Werden Eingaben zum Training genutzt?
- -Wo werden Daten verarbeitet?
- -Gibt es Auftragsverarbeitung?
- -Welche Unterauftragnehmer werden eingesetzt?
- -Welche Sicherheitsstandards gelten?
- -Welche Rechte an Ergebnissen bestehen?
- -Welche Haftungsbegrenzungen gelten?
- -Wie endet der Vertrag?
- -Wie werden Daten gelöscht?
- -Gibt es Export- oder Übergabemöglichkeiten?
Ein KI-Tool ist nicht deshalb unternehmensgeeignet, weil es beeindruckend antwortet. Geeignet ist es erst, wenn Vertrag, Daten, Sicherheit und Verantwortung zusammenpassen.
9. AI Literacy, Schulung und Führung
Art. 4 AI Act zu KI-Kompetenz gilt nach Angaben der EU-Kommission seit 2. Februar 2025. Anbieter und Betreiber von KI-Systemen müssen nach besten Kräften ein ausreichendes Maß an KI-Kompetenz ihres Personals und anderer Personen sicherstellen, die in ihrem Auftrag mit KI-Systemen umgehen. Die EU-Kommission weist darauf hin, dass die Aufsichts- und Durchsetzungsregeln dazu ab 3. August 2026 gelten.
Für Unternehmen bedeutet das: Schulung ist nicht nur Begleitmusik. Sie ist Teil der KI-Governance.
Zu prüfen sind insbesondere
- -Wer nutzt KI?
- -Für welche Zwecke?
- -Welche Risiken müssen verstanden werden?
- -Welche Regeln gelten für Daten?
- -Wie werden Ergebnisse geprüft?
- -Wie werden Fehler erkannt?
- -Welche Führungskräfte müssen besonders geschult werden?
- -Wie wird Schulung dokumentiert?
- -Wie wird Wissen aktuell gehalten?
- -Wer ist verantwortlich?
KI-Kompetenz bedeutet nicht, dass alle Mitarbeitenden zu Technikexperten werden. Sie bedeutet, dass Menschen wissen, wann KI nützt, wann sie irrt und wann sie nicht genutzt werden darf.
Quelle: Art. 4 AI Act, EU-Kommission zu AI Literacy
10. Kontrolle, Dokumentation und menschliche Prüfung
KI-Governance muss festlegen, wann Ergebnisse geprüft werden und wer Verantwortung übernimmt.
KI kann Texte, Analysen, Empfehlungen, Bewertungen, Zusammenfassungen oder Entscheidungen vorbereiten. Aber das Unternehmen muss klären, wo menschliche Prüfung zwingend ist.
Zu prüfen sind insbesondere
- -Welche KI-Ergebnisse dürfen direkt genutzt werden?
- -Welche Ergebnisse brauchen fachliche Prüfung?
- -Welche Ergebnisse brauchen rechtliche Prüfung?
- -Welche Ergebnisse dürfen nicht automatisiert übernommen werden?
- -Wer ist fachlich verantwortlich?
- -Wie werden Fehler gemeldet?
- -Wie werden Freigaben dokumentiert?
- -Welche Entscheidungen trifft kein KI-System allein?
- -Wie wird Kontrolle praktisch umgesetzt?
- -Wie wird gegenüber Kunden kommuniziert?
KI kann vorbereiten. Verantwortung lässt sich nicht auslagern, nur weil das Ergebnis flüssig formuliert ist.
11. Geschäftsleiterpflichten und Governance
Für Geschäftsführung und Leitungsorgane stellt sich nicht die Frage, ob sie jede KI-Nutzung selbst prüfen müssen. Das müssen sie nicht.
Die relevante Frage lautet: Haben sie eine angemessene Organisation geschaffen, damit KI-Risiken erkannt, bewertet, gesteuert und dokumentiert werden?
GmbHG Paragraph 43 regelt die Sorgfaltspflicht und Haftung von GmbH-Geschäftsführern. AktG Paragraph 93 regelt die Sorgfaltspflicht und Verantwortlichkeit von Vorstandsmitgliedern. Je nach Unternehmen, Maßnahme und Risiko können diese Normen als Bezugspunkte für Organisationsverantwortung und Entscheidungsdokumentation relevant werden.
Zu prüfen sind insbesondere
- -Kennt die Geschäftsführung wesentliche KI-Anwendungen?
- -Gibt es klare Zuständigkeiten?
- -Gibt es Freigabeprozesse?
- -Gibt es Risikoklassen?
- -Gibt es Dokumentation?
- -Sind Datenschutz, Recht, IT und Fachbereiche eingebunden?
- -Gibt es Reporting an die Geschäftsführung?
- -Wer entscheidet über Hochrisiko-Anwendungen?
- -Wer stoppt risikoreiche Nutzung?
- -Wie wird Governance regelmäßig überprüft?
Geschäftsführung muss KI nicht programmieren. Aber sie sollte verhindern, dass KI im Unternehmen niemandem wirklich gehört.
Quellen: GmbHG Paragraph 43, AktG Paragraph 93
12. Typische Fehler bei KI-Governance im Mittelstand
Aus anwaltlicher Sicht wiederholen sich bestimmte Muster.
Der letzte Fehler ist der Kern. Nur weil KI im Unternehmen stattfindet, ist sie noch nicht geführt. Manchmal ist sie nur sehr produktiver Wildwuchs.
Einordnung von Lutz Färber
Rechtsanwalt und Senior Legal Advisor
Aus meiner Sicht wird KI in vielen Unternehmen derzeit zu klein gedacht.
Die einen machen daraus ein IT-Projekt. Die anderen ein Effizienzversprechen. Wieder andere hoffen, dass eine kurze Richtlinie genügt, die irgendwo im Intranet liegt und tapfer ignoriert wird.
Das reicht nicht.
KI-Governance bedeutet nicht, Innovation in Papier zu ersticken. Sie bedeutet, Verantwortung zu organisieren.
Wer nutzt welche Systeme? Mit welchen Daten? Zu welchem Zweck? Unter welcher Freigabe? Mit welcher Prüfung? Mit welcher Schulung? Mit welcher Dokumentation? Und mit welcher Entscheidungskompetenz der Geschäftsführung?
Das sind keine akademischen Fragen. Das sind Führungsfragen.
Ich halte wenig von Unternehmen, die KI entweder verklären oder verbieten. Beides ist bequem. Beides spart zunächst Denken.
Besser ist eine Ordnung, die Nutzung ermöglicht und Risiken sichtbar macht. Eine Ordnung, die nicht jedes Experiment verhindert, aber klar sagt, wo Experiment endet und Verantwortung beginnt.
KI wird bleiben. Die Frage ist nur, ob sie im Unternehmen geführt wird oder ob sie sich den Weg selbst sucht.
Checkliste für Unternehmer, Geschäftsführer und Leitungsorgane
Wann rechtliche Begleitung sinnvoll ist
Rechtliche Begleitung ist besonders sinnvoll, wenn KI im Unternehmen nicht nur punktuell getestet wird, sondern organisatorische Bedeutung bekommt.
Der bessere Zeitpunkt für rechtliche Begleitung ist nicht der Moment, in dem KI-Nutzung bereits außer Kontrolle geraten ist. Der bessere Zeitpunkt ist davor. Dann, wenn Rollen, Daten, Freigaben, Anbieter, Betriebsrat, Schulung und Dokumentation noch geordnet werden können.
Fazit
KI-Governance im Mittelstand ist keine Modeübung. Sie ist der Versuch, eine neue Unternehmenspraxis führbar zu machen.
Aus anwaltlicher Sicht lautet die entscheidende Frage deshalb nicht: Welche KI-Tools nutzen wir?
Die bessere Frage lautet: Welche Ordnung braucht unser Unternehmen, damit KI rechtlich, organisatorisch und wirtschaftlich tragfähig genutzt werden kann?
Dafür müssen Geschäftsführung, IT, Datenschutz, HR, Betriebsrat, Fachbereiche und Recht zusammenarbeiten.
Nicht, um KI zu bremsen. Sondern damit KI nicht schneller wächst als die Verantwortung dahinter.
Häufige Fragen zu KI-Governance im Mittelstand
Quellen und fachliche Bezugspunkte
- European Commission - AI Act regulatory framework
- European Commission - AI Literacy Questions & Answers
- EUR-Lex - Verordnung EU 2024/1689 Artificial Intelligence Act
- European Commission - AI talent, skills and literacy
- EUR-Lex - Datenschutz-Grundverordnung EU 2016/679
- Gesetze im Internet - BDSG Paragraph 26
- Gesetze im Internet - BetrVG Paragraph 87
- Gesetze im Internet - GeschGehG Paragraph 2
- Gesetze im Internet - GewO Paragraph 106
- Gesetze im Internet - GmbHG Paragraph 43
- Gesetze im Internet - AktG Paragraph 93
Über den Autor

Lutz Färber
Rechtsanwalt und Senior Legal Advisor
Lutz Färber begleitet Unternehmer, Unternehmen, Gesellschafter, Geschäftsführer und Leitungsorgane in rechtlichen und strategischen Fragen. Sein Schwerpunkt liegt an der Schnittstelle von Wirtschaftsrecht, KI, Compliance, Governance und unternehmerischer Verantwortung.
