KI-Sherpa® Wissen KI-Potentialgespräch
Governance

KI und DSGVO im Mittelstand: Datenschutz-Praxis ohne Rechtsabteilung

Die meisten Mittelständler starten KI-Projekte mit zwei Ängsten: Datenschutz und fehlende Rechtsabteilung. Aus über 20 Transformationen zeige ich, welche DSGVO-Maßnahmen bei KI-Werkzeugen tatsächlich Pflicht sind, welche AVV-Klauseln in Ihren Verträgen stehen müssen und wo Sie sich unnötig blockieren lassen.

Von Daniel Blümlein · ~9 Min Lesezeit · Aktualisiert September 2026

Der Datenschutz-Mythos: Warum die meisten KI-Projekte zu spät starten

📄
Gratis-Download
Checkliste: Wo sich KI bei Ihnen zuerst rechnet
8-Punkte-Selbstcheck — finden Sie in 15 Minuten Ihren ersten KI-Hebel. Kostenlos als PDF.
Checkliste sichern →

In drei von vier Erstgesprächen höre ich: „Wir würden ja gern mit KI anfangen, aber Datenschutz…" Dann liegt ein Stapel ungeklärter Fragen auf dem Tisch, oft zusammengetragen vom DSB oder der IT-Leitung, manchmal auch nur diffuse Sorge. Das Ergebnis: Das KI-Pilotprojekt startet sechs Monate später als nötig – oder gar nicht.

Die Wahrheit: 90 % der datenschutzrechtlichen Anforderungen an KI im Mittelstand lassen sich mit drei Dokumenten und zwei Prozessen abdecken. Der Rest ist entweder schon durch Ihre bestehende DSGVO-Compliance gelöst oder betrifft Hochrisiko-Anwendungen, die Sie ohnehin erst in Phase 3 anfassen.

Der Knackpunkt liegt woanders: Die meisten Unternehmen verwechseln „datenschutzkonform arbeiten" mit „juristisch wasserdichte Dokumentation für den Ernstfall". Ersteres ist Pflicht und machbar. Letzteres ist teuer, bindet Ressourcen und hilft im Tagesgeschäft wenig.

Datenschutz blockiert KI-Projekte nicht – unklare Verantwortung und fehlende Standardprozesse tun es.

AVV, TOM, DSFA: Die drei Dokumente, die Sie wirklich brauchen

Auftragsverarbeitungsvertrag (AVV) für externe KI-Dienste

Sobald Sie einen Cloud-KI-Dienst nutzen – ChatGPT, Copilot, Claude, Gemini –, verarbeitet der Anbieter personenbezogene Daten in Ihrem Auftrag. Ohne AVV verstoßen Sie gegen Art. 28 DSGVO. Punkt.

In der Praxis:

Was muss drinstehen? DSGVO Art. 28 Abs. 3 listet neun Punkte; die wichtigsten:

Typischer Fehler: AVV wird unterschrieben, aber in der IT-Schublade vergessen. Ihr DSB sollte eine Übersicht führen: Welcher KI-Dienst, welcher AVV, welche Laufzeit.

Technisch-organisatorische Maßnahmen (TOM)

Sie müssen dokumentieren, wie Sie personenbezogene Daten in der KI-Nutzung schützen. Das ist oft einfacher als gedacht:

Ein zweiseitiges Word-Dokument pro KI-Tool reicht. Wichtig: Aktualisieren, wenn sich etwas ändert (neuer Anbieter, neue Nutzergruppe).

Datenschutz-Folgenabschätzung (DSFA): Wann Pflicht, wann Overkill

Art. 35 DSGVO verlangt eine DSFA, wenn die Verarbeitung „voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat". Klingt schwammig, ist es auch.

DSFA ist Pflicht, wenn Sie:

DSFA ist NICHT nötig, wenn Sie:

Im Zweifel: Einfache Risikoanalyse (eine Seite) reicht, um zu begründen, warum keine volle DSFA nötig ist. Dokumentieren Sie: Welche Daten, welches Risiko, welche Schutzmaßnahme.

Betroffenenrechte: Auskunft, Löschung, Widerspruch bei KI-Systemen

Ein Mitarbeiter stellt einen Auskunftsantrag nach Art. 15 DSGVO: „Welche meiner Daten hat die Firma in KI-Systemen verarbeitet?" Können Sie antworten?

In der Praxis entstehen zwei Probleme:

  1. Unklare Datenflüsse: Wenn Vertrieb ChatGPT nutzt, Service-Techniker Claude und Einkauf Copilot, wissen Sie nicht, wo welche Personendaten liegen.
  2. Keine Löschfunktion: Die meisten Cloud-KI-Dienste bieten zwar API-Zugriff auf Conversation History, aber kein „Alle Daten von Person X löschen"-Button.

Lösung:

Realistisch: Ein Auskunftsantrag alle zwei Jahre, Löschanträge noch seltener. Aber wenn er kommt, sollten Sie in 48 Stunden antworten können.

Betroffenenrechte scheitern nicht an der KI-Technik, sondern an fehlender Dokumentation, wer welches Tool für was nutzt.

Cloud vs. On-Premise: Datenschutz-Unterschiede, die wirklich zählen

Viele GFs fragen: „Müssen wir KI selbst hosten, um DSGVO-sicher zu sein?" Kurze Antwort: Nein. Lange Antwort:

Cloud-KI (ChatGPT, Copilot, Claude) ist datenschutzkonform, wenn:

Vorteil Cloud: Keine eigene Infrastruktur, Updates automatisch, Compliance-Zertifikate (ISO 27001, SOC 2) vom Anbieter.

Nachteil Cloud: Kein Einfluss auf Sub-Prozessoren, theoretisches Drittlandrisiko (auch wenn EuGH-Urteil Schrems II seit 2020 praktisch abgearbeitet ist).

On-Premise / EU-Cloud (Aleph Alpha, eigenes Llama-Deployment) macht Sinn, wenn:

Vorteil On-Premise: Volle Kontrolle, keine externen AVVs, klare Datenhoheit.

Nachteil On-Premise: Hoher Aufwand (Server, Updates, Security Patches), oft schlechtere Modellqualität (es sei denn, Sie trainieren selbst).

Pragmatische Empfehlung: Starten Sie mit Cloud-KI für unkritische Use Cases (E-Mail und Meeting-Aufwand senken, Dokumentensuche). Für sensible Prozesse (Angebotskalkulation mit Kundendaten) prüfen Sie EU-Cloud oder verschlüsselte RAG-Lösungen.

Schatten-KI und KI-Inventur: Das unterschätzte Compliance-Risiko

Das größte DSGVO-Problem in den nächsten zwei Jahren heißt nicht ChatGPT – es heißt Schatten-KI: Mitarbeiter nutzen KI-Tools ohne Wissen der IT oder des DSB.

Typisches Szenario:

Rechtsfolge: Sie als Unternehmen haften für Verstöße – auch wenn Sie nichts davon wussten (Art. 82 DSGVO, Schadensersatz; Art. 83, Bußgeld bis 4 % Jahresumsatz).

Gegenmaßnahme: KI-Inventur + Policy

  1. Jährliche Bestandsaufnahme: IT-Leitung fragt Abteilungen ab: Welche KI-Tools im Einsatz? (E-Mail, kurzes Formular, 30 Minuten)
  2. Genehmigte Tool-Liste: DSB prüft, gibt frei, dokumentiert AVV. Nur diese Tools dürfen genutzt werden.
  3. Klare Policy: Schriftliche Regelung (eine Seite): „KI-Tools nur nach IT-Freigabe, keine Kundendaten in öffentliche Prompts, bei Verstößen arbeitsrechtliche Konsequenzen."
  4. Technische Sperre (optional): Web-Filter blockiert bekannte KI-Domains (ChatGPT, Claude), außer für freigegebene Nutzergruppen.

Sie müssen nicht jede Nuance kontrollieren – aber Sie müssen nachweisen können, dass Sie Maßnahmen getroffen haben. Das genügt der Aufsichtsbehörde.

Praxis-Checkliste: DSGVO-konforme KI in 4 Wochen

Wenn Sie heute starten, sind Sie in einem Monat compliant:

Woche 1: Bestandsaufnahme

Woche 2: AVVs + TOM

Woche 3: Risikoanalyse + DSFA-Prüfung

Woche 4: Policy + Schulung

Danach: Quartalsweise Update der Tool-Liste, jährliche Schulung. Fertig.

Was der EU AI Act zusätzlich verlangt – und was nicht

Seit Februar 2025 gilt der EU AI Act. Viele denken: „Noch mehr Bürokratie!" Tatsächlich: Für die meisten Mittelstands-KI-Anwendungen ändert sich wenig.

Der AI Act kategorisiert Systeme nach Risiko:

Ihre Pflichten als Mittelstand:

DSGVO bleibt die schärfere Klinge: Personenbezogene Daten sind nach wie vor das zentrale Thema. Der AI Act ergänzt, aber ersetzt nicht.

Fazit: Datenschutz ist kein KI-Blocker – Unkenntnis schon

Nach 20+ KI-Transformationen im Mittelstand habe ich kein einziges Projekt erlebt, das an DSGVO gescheitert ist. Aber dutzende, die monatelang verzögert wurden, weil keiner wusste, welche drei Dokumente reichen und wer sie ausfüllt.

Datenschutz bei KI ist zu 80 % Prozess, zu 20 % Recht. Sie brauchen keinen Anwalt für jeden Prompt – aber Sie brauchen einen DSB oder externen Datenschutzbeauftragten, der die Vorlagen kennt, und eine IT-Leitung, die Tools inventarisiert.

Wenn Sie das Setup aus Woche 1-4 oben umsetzen, sind Sie sicherer aufgestellt als 70 % der Unternehmen Ihrer Größe – und können KI im Mittelstand endlich ohne schlechtes Gewissen skalieren.

Häufige Fragen

Brauche ich für ChatGPT im Unternehmen einen AVV?

Ja, sobald personenbezogene Daten verarbeitet werden. OpenAI stellt einen DPA (Data Processing Addendum) bereit, der im ChatGPT-Team- oder Enterprise-Account aktiviert werden muss. Ohne AVV verstoßen Sie gegen Art. 28 DSGVO.

Ist eine Datenschutz-Folgenabschätzung (DSFA) für KI-Tools Pflicht?

Nur bei Hochrisiko-Verarbeitungen: automatisierte Entscheidungen mit Rechtswirkung, Profiling in großem Umfang oder sensible Daten. Für interne Textarbeit, Dokumentensuche oder Copilot reicht meist eine einfache Risikoanalyse.

Was ist Schatten-KI und wie verhindere ich DSGVO-Verstöße?

Schatten-KI sind nicht genehmigte KI-Tools, die Mitarbeiter privat nutzen. Gegenmaßnahme: Jährliche Tool-Inventur, schriftliche KI-Policy, freigegebene Tool-Liste und optional Web-Filter für ungenehmigte Dienste.

Muss ich KI On-Premise hosten, um DSGVO-konform zu sein?

Nein. Cloud-KI ist mit AVV, EU-Rechenzentren und Opt-out aus Modelltraining DSGVO-konform. On-Premise macht nur bei hochsensiblen Daten (Patente, Gesundheit) oder Betriebsratsforderungen Sinn.

Wie erfülle ich Betroffenenrechte (Auskunft, Löschung) bei KI-Systemen?

Führen Sie ein Datenfluss-Inventar (welche Abteilung nutzt welches Tool mit welchen Daten). Schulen Sie Pseudonymisierung. Bei Anfragen unterstützt der Anbieter laut AVV; bei eigenem RAG legen Sie User-IDs in der Datenbank an.

Was ändert sich durch den EU AI Act für Mittelständler?

Wenig. Hochrisiko-KI (Bewerberscreening, kritische Infrastruktur) braucht CE-Kennzeichnung vom Hersteller. Chatbots müssen als KI erkennbar sein. Ansonsten bleibt DSGVO das zentrale Regelwerk für personenbezogene Daten.

KI-Sherpa® · KI-Potentialgespräch

Sie wollen wissen, wo bei Ihnen der erste KI-Hebel liegt?

In 30 Minuten schauen wir auf Ihre echten Prozesse und benennen den Anwendungsfall, der sich bei Ihnen zuerst rechnet. Kostenfrei, ohne Folienschlacht.

DB
Daniel Blümlein begleitet als KI-Sherpa® die KI-Transformation in über 20 mittelständischen und industriellen Unternehmen — vom Maschinenbau bis zur Lebensmittelproduktion. Bekannt aus Computerwoche und Südwestpresse.
Diese Seite nutzt Statistik- und Marketing-Dienste, um zu verstehen, wie sie genutzt wird. Näheres in der Datenschutzerklärung.