kuenstliche-intelligenz

Abheben mit Microsofts Copilot

Eine KI Sicherheitseinweisung

Am 13.03.2024 stimmte das EU-Parlament in Straßburg mehrheitlich für das KI-Gesetz, das wir in unserem Beitrag Mal was Intelligentes aus Brüssel – Die europäische KI-Verordnung kommt! bereits vorgestellt hatten. Einhelliger Tenor der Medien: Die Anwendung von KI birgt sowohl Vorteile als auch Risiken.

Was für viele Unternehmen immer noch sehr theoretisch klingt, ist für andere Firmen schon seit einigen Monaten gelebte Praxis. Spätestens, als Microsoft im Januar 2023 als Hauptaktionär von OpenAI noch einmal 10 Mrd. US-Dollar in die Macher von ChatGPT steckte, war abzusehen, dass die Integration der KI-Anwendung in die Produktpalette von Microsoft nicht lange auf sich warten lassen konnte. Das Ergebnis lässt sich sehen: Gleicht der Nutzer von Microsoft 365 einem Flugkapitän und sein Unternehmen dem Flugzeug, so stellt der Softwaregigant nun die bahnbrechende KI-Anwendung als hilfreichen Unterstützer zur Seite – eben einen Copiloten.

Diesem Bild folgend stellt sich angesichts des doch steilen Aufstiegs der KI bei manchen Firmen eine gewisse Flugangst ein. Die diffusive Befürchtung, mit der Nutzung von Copilot die Büchse der Pandora zu öffnen, führt zur Unsicherheit im Umgang mit einer Technologie, an deren Einführung am Ende aber niemand herumkommt. Wir wollen nachfolgend die wesentlichen Risiken skizzieren und Wege aufzeigen, um Bruchlandungen zu vermeiden.

1. Destination und Muster

Die Einsatzmöglichkeiten in Microsoft 365 sind schon für gewöhnliche Anwender äußerst vielfältig. In Word lassen sich ganze Dokumente zu einem Thema mithilfe von KI erstellen oder auch verbessern. Für alle, die mit Excel-Tabellen etwas fremdeln, kann Copilot mit Formeln und Analysen helfen. Die PowerPoint-Muffel freuen sich, dass die KI-Lösung Präsentationen entwerfen und optimieren kann. E-Mails schreiben sich in Outlook quasi von selbst und Teams-Meetings lassen sich mittels Copilot organisieren und mittels Transkription schnell dokumentieren.

Doch damit nicht genug: Nutzer von Dynamics (CRM, z.B. Sales, Marketing) verfügen über Möglichkeiten zur optimierten Kommunikation im Team und mit Kunden, Marketing-Kampagnen lassen sich mit neuen Ideen entwerfen oder steuern. Inhalte für Internetseiten wie z.B. FAQs, vorher mühsam zusammengetragen, lassen sich in Windeseile erstellen.

Abseits der Welt von Microsoft 365 ist eine Nutzung von Copilot als Einzellizenz natürlich auch möglich. An dieser Stelle liegt der Gedanke nicht fern, dass Mitarbeiter – mit oder ohne Wissen der Geschäftsführung – schon jetzt diese KI-Software anwenden, ohne dass eine offizielle Einführung seitens des Unternehmens vorliegt. Schon deshalb, weil die einfachen Lizenzen nicht das Datenschutzniveau der Unternehmenslizenzen erreichen, sollten Alleingänge nicht zugelassen werden. Die nachfolgende Ziffer 2 liefert weitere Gründe für ein geordnetes Vorgehen.

2. Ready for Takeoff?

Bevor dem Verlangen nach Implementierung von KI nachgegeben wird, es ist dringend anzuraten, zuerst einen gründlichen Checkup am Boden durchzuführen. Dafür ist es insbesondere erforderlich, nicht nur aus einer interessierten Abteilung wie z.B. Marketing heraus den Bedarf zu analysieren, sondern sämtliche Use Cases in allen erdenklichen Ausgestaltungen zu erfassen.

2.1.       Data Governance

Grundlegend sollte die Funktionsweise des integrierten Chatbots verstanden werden: Bei Microsoft 365 greift dieser u.a. auf Sharepoint und Teams-Kanäle zu. Das klingt zunächst vorteilhaft, wird allerdings in den vielen Fällen zum Problem: Der den Chatbot nutzende Mitarbeiter erhält – je nach Anfrage – eine Verarbeitung von Informationen aus allen Ordnern und Kommunikationen, zu denen er irgendwann einmal Zugriffsrechte erhalten hat. Wenn die Verteilung von Rollen und Rechten im Unternehmen aus dem Ruder gelaufen ist, gelangt der einzelne Nutzer – ob er es darauf anlegt oder nicht – in den Besitz von Informationen, die nicht für seine Augen gedacht sind und die er ohne KI-Hilfe auch niemals aufgefunden hätte. Welche Auswirkungen eine solches Szenario allein im Datenschutzrecht haben kann, muss wahrscheinlich an dieser Stelle nicht ausführlich dargestellt werden. Wenn es also jemals einen Zeitpunkt gegeben hat, von Seiten der IT das Berechtigungskonzept endlich zu überarbeiten oder gar zu erstellen, dann vor Einführung von Copilot.

Auch unabhängig von der Frage der Zugriffsrechte besteht in Sachen Data Governance in den allermeisten Fällen Optimierungsbedarf, wenn Copilot optimal genutzt werden soll. Ähnlich der Suchmaschinenoptimierung, die den Seitenbetreiber zur Verschlagwortung von Inhalten nötigt, ist es als wichtige Unterstützung des KI-Helfers zu betrachten, wenn Dateien nicht nur richtig klassifiziert, sondern auch in den Dateiinformationen mit sinnvollen Tags versehen werden. Microsoft bietet für das wichtige Dateimanagement die Lösung Purview an, es gibt allerdings auch noch jede Menge Alternativen auf dem Markt, die noch zusätzliche Features bieten.

2.2.       KI-Richtlinie und deren Umsetzung

Daneben sollte auf der Checkliste vor dem Start auch das Thema Information und Schulungen von Mitarbeitern auftauchen. Zum einen bieten interne Richtlinien zum Thema die Gelegenheit, Regeln für die Anwendung mitzugeben und damit klar Grenzen zu setzen. Zum anderen wäre es am Ende des Tages auch ein Haftungsproblem, wenn die Nutzer im Unternehmen völlig freie Bahn eingeräumt bekommen und keinerlei Kontrolle ausgeübt wird. Nicht zuletzt sieht der dann zur Geltung kommende KI-Act zumindest mittelbar die Pflicht vor, bei den Beschäftigten eine ausreichende KI-Kompetenz herbeizuführen – wenn man so will einen Copiloten-Schein. Naturgemäß sollte diese Kompetenz bereits vorliegen und die Regeln im Unternehmen stehen, bevor die Anwendung live geht.

2.3.       Datenschutz

Wie immer vor Einführung einer neuen Anwendung freut sich der Datenschutzbeauftragte über eine Einbindung vor dem Start. Auch wenn kein Beauftragter bestellt ist, müssen vor dem Einsatz von Copilot wichtige Punkte abgearbeitet werden.

Eine im Verhältnis noch einfache Aufgabe ist die Vervollständigung der Dokumentation. Dazu gehört natürlich die Erstellung bzw. die Ergänzung eines Eintrags im Verarbeitungsverzeichnis, aber auch die Vorprüfung sowie ggf. die Durchführung einer Datenschutz-Folgenabschätzung. Schwieriger wird die Frage der Auftragsverarbeitung durch Microsoft bei der Nutzung von Copilot, da nach den im Moment zur Verfügung stehenden Informationen unklar ist, ob die dafür erforderlichen vertraglichen Grundlagen wie das Data Protection Addendum gelten. Anscheinend ist auch die Auswahl der Rechenzentren (Stichwort EU Data Boundary) nicht automatisch beschränkt, die Zulässigkeit einer vorliegenden Drittlandsübermittlung ist daher ggf. zu prüfen.

Nach den aktuellen Nutzungsbedingungen wird von Microsoft immerhin zugesichert, dass die in den Chat eingefügten Daten zum einen nur für die Zwecke der Copilot-Nutzung kurzzeitig gespeichert werden und dass zum anderen ausgeschlossen ist, dass die Daten zum weiteren Training der KI genutzt werden. Wichtig ist jedenfalls, dass vor der Implementierung allseits Klarheit darüber herrscht, dass die KI nicht zur automatisierten Entscheidungsfindung im Sinne des Art. 22 DSGVO genutzt werden darf – am Ende muss daher stets noch eine menschliche Prüfung und Bewertung der Ergebnisse stattfinden, bevor Kunden oder Mitarbeiter vom Output der Maschine tangiert werden.

3. Mögliche Turbolenzen

Die mit Copilot einhergehenden Probleme unterscheiden sich grundsätzlich nicht von denen, wie sie allgemein zum Thema KI diskutiert werden. Es ist nachvollziehbar, dass erhebliche Risiken in Kauf genommen werden, wenn der unter Ziffer 2 empfohlene Checkup nicht beherzigt wird. Gerade die in vielen Unternehmen zu leichtfertig gehandhabte Berechtigungsstruktur kann in Einzelfällen Ärger im Betrieb und mit Behörden auslösen. Die wichtige Schulung der Mitarbeiter auf den richtigen Umgang mit KI sowie die sorgfältige Auswahl von Einstellungen der Software können wertvolle Hilfen zur Risikominimierung sein.

Weitere Gefahren lauern derweil bei der Nutzung der Ergebnisse, die mit KI erzielt werden. Microsoft weist in den Nutzungsbedingungen und weiteren Informationen nicht nur darauf hin, dass KI dem Grunde nach fehlerhaft arbeitet und sich bisweilen unwahre Behauptungen zusammenreimt („Halluzinieren“), sondern gibt auch den Hinweis, dass die mit Copilot geschaffenen Texte nicht den Anspruch erheben, dem Nutzer das alleinige Nutzungsrecht zu verschaffen. Microsoft erhebt anscheinend keinen Anspruch auf das „Eigentum“ an den geschaffenen Daten, es kann daher bei der Nutzung auch keinerlei Recht vom Anbieter abgeleitet werden. Ohne das Thema Urheberecht bei KI, zu dem die KI-Verordnung keinen Lösungsansatz liefert, zu sehr zu vertiefen, soll hier jedoch das Problembewusstsein im Umgang mit den Kreationen ausgelöst werden. Es ist z.B. denkbar, dass der durch Copilot erschaffene Werbespruch für das Marketing untauglich ist, weil er bereits zuvor von anderen erschaffen und auch geschützt wurde.

Inwiefern die offenkundig mit der Nutzung einhergehende Beschleunigung von Prozessen gegenüber Personen, die von den Ergebnissen der KI betroffen sind oder für die die Ergebnisse aufgrund vertraglicher Verpflichtungen geschaffen werden, dazu zwingt, die Nutzung der KI transparent zu machen, wird eine Frage sein, mit der sich die Unternehmen beschäftigen müssen – die KI-Verordnung ordnet eine solche Transparenz jedenfalls grundsätzlich an. Angesichts der bekannten Fehleranfälligkeit der Anwendung erscheint es aus Haftungsgründen sogar ratsam, die Einbindung von KI offenzulegen, auch wenn dies nicht von der Verpflichtung der menschlichen Aufsicht über die Maschine ablenken kann.

4. Wir wünschen einen guten Flug!

Der Copilot ist kein echter Autopilot. Trotz aller anzuerkennenden Erleichterungen, die die KI im Arbeitsalltag mit Microsoft-Produkten bringen kann, sollte der Mensch weiter das Steuer in der Hand halten. Eine Einführung ohne grundlegende Vorbereitungen käme einem Blindflug gleich, sie sollten daher durchaus ernstgenommen werden. Das Thema KI gehört auch dann auf die Tagesordnung, wenn eine offizielle Einführung im Unternehmen gar nicht geplant ist – dafür ist es für die Mitarbeiter viel zu verlockend, sich mit Anwendungen wie Copilot heimlich die Arbeit zu erleichtern.

Und nein, dieser Text ist nicht durch künstliche, sondern durch menschliche Intelligenz kreiert worden, was man vielleicht an der bildhaften Sprache erkennen kann. Wenn wir Sie und Ihr Unternehmen bei der Implementierung von KI-Anwendungen rechtlich unterstützen können, werden wir das ebenfalls auf ganz persönliche Weise gerne tun.

Künstliche Intelligenz

Begriff, (kommende) Gesetze und letzte Änderungen des AI Acts

“AI is too important not to regulate, and too important not to regulate well.” (Sundar Pichai)

Soziale Medien und Fernsehen sind diese Tage voll mit digitalen Produkten und Online-Anwendungen, die bereits sogenannte „KI“ enthalten. Dass uns das Thema also mit aller Macht ereilt und die Gesetzgeber gehalten sind, sich des Themas rasch anzunehmen, daran dürfte kaum mehr ein Zweifel bestehen.

Nachfolgend findet sich neben dem Versuch, den Begriff der KI zu erläutern, ein Überblick über die wichtigsten gesetzlichen Regelungen auf EU- und deutscher Ebene, die in Vorbereitung oder bereits in Kraft getreten sind.

1.    Was wird eigentlich reguliert?
     Ein Abriss zur Definition von KI aus technischer Sicht

Um etwas zu regulieren, muss es – zumindest in der Welt der Juristen – erst einmal definiert werden. Diese Anforderung ist bei der Künstlichen Intelligenz (KI) nicht so einfach. Deswegen hat es auch bei der Ausgestaltung des AI Act der EU hierzu einige Anläufe gegeben.

Grundsätzlich einmal gilt folgendes aus technischer Sicht: Künstliche Intelligenz (KI) ist ein Teilgebiet der Informatik. Sie imitiert menschliche kognitive Fähigkeiten, indem sie Informationen aus Eingabedaten erkennt und sortiert. Diese Intelligenz kann auf programmierten Abläufen basieren oder durch maschinelles Lernen erzeugt werden. Anders als bei herkömmlichen Algorithmen wird kein Lösungsweg modelliert. Der Computer lernt selbstständig die Struktur der Daten zu erkennen.

Beispielsweise können Roboter selbst erlernen, wie sie bestimmte Objekte greifen müssen, um sie von A nach zu B transportieren. Sie bekommen nur gesagt, von wo und nach wo sie die Objekte transportieren sollen. Wie genau der Roboter greift, erlernt er durch das wiederholte Ausprobieren und durch Feedback aus erfolgreichen Versuchen.

Die Begrifflichkeiten rund um die KI bedürfen einer Einordnung. Heutzutage sprechen wir in der Regel von der sog. „schwachen“ KI, die auf verschiedenen Formen des maschinellen Lernens basiert. Der Vorgang einer Entwicklung einer KI geht in diesem Kontext normalerweise von einer sehr großen Datenmenge aus (Big Data), die es zu analysieren gilt, dies geschieht z.B. mit Methoden des Data Mining, durch welche Strukturen und Muster erkannt werden. Darauf hin erfolgt das Training (machine learning) mit Hilfe verschiedener Arten des Lernens:

  1. Supervised Learning: angeleitetes Lernen, bei dem die Ergebnisse vorher bekannt sind.
  2. Unsupervised Learning: Algorithmus erhält weder das gewünschte Ergebnis vorab, noch ein feedback.
  3. Reinforcement Learning: Die selbständig produzierten Ergebnisse des Algorithmus erfahren ein (positives oder negatives) Feedback, das mit Hilfe dieser Wertefunktion und dem Training irgendwann zu den gewünschten Ergebnissen führt.
  4. Künstliche neuronale Netze (KNN): Konzeptionelles Vorbild für KNN ist die Informations-übertragung im menschlichen Nervensystem. Sie entstehen durch die Verknüpfung einer Vielzahl von Neuronen und bestehen aus unterschiedlichen Schichten (Layer). Sind viele dieser sog. versteckten Schichten vorhanden, spricht man von deep learning, die eine hohe Zahl an Trainingsdaten benötigen und komplexere Probleme lösen können.

2.    Überblick über gesetzliche Regelungen

Folgende gesetzliche Regelungen finden sich derzeit rund um die KI im europäischen und / oder nationalen Gesetzgebungsraum:

KI-Verordnung, KI-VO oder auch AI-Act:

Die KI-VO regelt, was KI im Sinne des Gesetzgebers ist und welche Rahmenbedingungen beim Einsatz zu beachten sind. Die KI-VO fordert für KI-Systeme Genauigkeit, Robustheit und Cybersicherheit. Dies bestimmt die Sicherheitserwartungen für die Einordnung eines Produkts als fehlerhaft und damit haftungsrelevant im Sinne der Produkthaftungsrichtlinie (EU ProdHaftRL).

EU Produkthaftungsrichtlinie (Entwurf), ProdHaftRL-E:

Hier geht es um Haftung für Schäden, die u.a. aus der Nutzung von KI (Software) entstehen. Wichtigste Neuerung ist, dass Software als Produkt i.S.d. Richtlinie gelten soll. Eine Klarstellung des Gesetzgebers besagt, dass nicht der Quellcode von Software als Produkt zu betrachten ist, sondern das System selbst, in dem die KI verwendet wird. Hersteller und damit Haftungssubjekt ist der Anbieter(!) von KI (so auch in der KI-VO).

Cyberresilience Act (Entwurf), CRA-E:

Der Anwendungsbereich der CRA-E betrifft sämtliche Produkte mit digitalen Elementen, deren beabsichtigte oder absehbare Nutzung darin liegt, eine direkte und/oder indirekte Verknüpfung gleich welcher Art zu einem Gerät und/oder Netzwerk herzustellen. Für diese sind entsprechende Sicherheitsvorgaben einzuhalten. Wenn durch die Nichteinhaltung der Vorgaben ein Schaden entsteht, kann dies eine Haftung nach der ProdukthaftungsRL (s.o.) bedeuten:

Datenschutzgrundverordnung, DSGVO / Europ. Menschenrechte-Charta, EGMR:

Die DSGO wird dann KI-relevant, wenn personenbezogene Daten oder Daten das Persönlichkeitsrecht betreffend verarbeitet (Trainingszwecke) oder interpretiert (Nutzung) oder erzeugt (wahre Prognosen oder falsche Halluzinationen) werden. Insbesondere Regelung zu sog. automatisierten Entscheidungen, die ohne menschliche Beteiligung stattfinden, können hier relevant werden.

KI-Haftungs-RL-E:

Dies ist eine zusätzliche Richtlinie nur zur Haftung von KI. Das Verhältnis der KI Haftungs-Richtlinie zur ProdHaftRL ist auch unter den Fachleuten noch nicht wirklich geklärt. Im Ergebnis sind jedoch die Produkthaftungs-Regelungen weitergehender sowie genauer und berücksichtigen „selbstlernende Software“. Die ProdHaftRL-E verdrängt daher im Wesentlichen die Vorgaben der KI-Haftungs-RL-E. Weiteres hierzu bleibt abzuwarten.

Trotz dieser Menge an gesetzgeberischen Tätigkeiten – und hier sind nur die relevantesten aufgezählt – bleiben noch zahllose rechtserhebliche Fragen zur künstlichen Intelligenz unbeantwortet oder werden nicht einmal gestellt. Die Themenfelder Urheber- und Patentrecht, Geheimnisschutz, Schutz personenbezogener Daten und Wettbewerbsrecht sind dabei nur die offensichtlichsten. Stattdessen zielt die KI-Verordnung auf Produktsicherheit und Marktregulierung ab.

3.    Der finale Entwurf der KI-VO im Detail

Nachdem wir oben unter Ziffer 1 versucht haben, uns der KI von technischer Seite zu nähern, schauen wir nun auf die Definition, wie sie sich nun in der KI-VO findet. Nachdem wir in unserem Artikel „Mal was Intelligentes aus Brüssel – die europäische KI-Verordnung kommt!“ den Begriff auf der Grundlage eines mittlerweile überholten Entwurfs erläutern haben, können wir nunmehr die endgültige Fassung präsentieren (keine offizielle Übersetzung):

Ein KI-System ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeitet und das nach dem Einsatz Anpassungsfähigkeit zeigen kann und das für explizite oder impliziten Zielen aus den Eingaben, die es erhält, ableitet, wie es Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generiert, die physische oder virtuelle Umgebungen beeinflussen können.“

Ziele der KI VO sind das Schaffen von Vertrauen in eine sog. „menschenzentrierte KI“. Sie soll die Balance finden zwischen Sicherheit und Wahrung der Grundrechte auf der einen Seite und genügend Raum für Innovationen auf der anderen Seite. Aus diesem Grund verfolgt die KI VO einen risikobasierten Ansatz, der eine KI um so enger reguliert, je leistungsfähiger sie ist. Dabei geht sie in ihrer Regulierung von den Basismodellen für KI Software aus und versucht, den darauf jeweils aufbauenden Innovationen genügend Raum für neue Entwicklungen zu lassen. Mit dem zusätzlichen Mittel der obligatorischen Selbstregulierung in Gestalt von Codes of Practice will man – anders als z.B. bei der freiwilligen Selbstregulierung im Digital Services Act (DSA) – die Beteiligten mehr in die Pflicht nehmen und zugleich der hochdynamischen Entwicklung in diesem Bereich Rechnung tragen. Über mögliche Sanktionen im Fall eines Verstoßes gegen solche von der Kommission erarbeiteten Codes of Practice ist allerdings nichts bekannt.

Anstelle der zunächst vorgesehenen Foundation Models (Basismodelle) werden nun KI-Systeme mit allgemeinem Verwendungszweck (generative KI, general purpose AI models) eingeführt. Weiterhin geht es dabei inhaltlich um Systeme, die mit enormen Datenmengen trainiert wurden, ein großes Spektrum an unterschiedlichen Aufgaben durchführen und in eine Vielzahl von nachgelagerten Anwendungen integriert werden können. Allseits bekannte Beispiele sind ChatGPT von OpenAI, Bard aus dem Hause Google und LLaMA von Meta AI. Schon grundsätzlich gelten für diese Modelle wichtige Transparenzpflichten aus Artikel 52 der KI-VO, bei solchen mit systemischen Risiko gelten nach Artikel 52a ff. weitaus strengere Vorschriften in Bezug auf Transparenz, Risikoanalyse und Dokumentation.

Neben der Begrifflichkeit des KI-Systems mit allgemeinem Verwendungszweck ist die Unterteilung in Risikoklassen wesentlich. für hochriskante Anwendungen gelten strengere Regeln als für weniger risikobehaftete. Systeme mit unannehmbarem Risiko sind grundsätzlich verboten. Sie finden sich in Artikel 5 der KI-VO und stellen Anwendungen dar, die als Bedrohung für den Menschen gelten, weil sie das Verhalten von Personen manipulieren, weil sie Menschen aufgrund ihres Verhaltens, persönlicher Merkmale oder ihres sozialen Status’ klassifizieren oder weil sie Gesichtserkennung in Echtzeit im öffentlichen Raum ermöglichen. Gerade zu letzterem Verbot sieht Artikel 5 Ausnahmen vor, die bis zuletzt heftig umstritten waren.

Die zweite Kategorie, die sog. Hochrisiko-KI-Systeme, die ein hohes Risiko für die Gesundheit, Sicherheit oder Grundrechte darstellen, fallen entweder unter die EU-Produktsicherheitsvorschriften (zB über Spielzeug, Luftfahrt oder medizinische Geräte) oder sie müssen in einer EU-Datenbank in einer von acht Klassen registriert werden (Annex III zur KI-VO). Das gilt beispielsweise für Systeme für die Verwaltung kritischer Infrastrukturen, für die Verwaltung von Migration und Grenzkontrollen oder für die Unterstützung bei der Auslegung und Anwendung von Gesetzen. Die EU-Kommission soll zur besseren Handhabung dieser Kategorie spätestens 18 Monate nach dem Inkrafttreten der Verordnung entsprechende Use Cases definieren und zur Verfügung stellen. Hochrisiko-KI-Systeme werden vor ihrem Inverkehrbringen und auch danach dahingehend bewertet, ob für sie alle Transparenz- und Sorgfaltsvorgaben des AI Act erfüllt werden. Im Laufe der Verhandlungen wurden Anwendungen wie z.B. eine Sprachsteuerung oder eine KI für Terminplanung aus der Gruppe der Hochrisiko-KI herausgenommen, selbst wenn sie in kritischen Bereichen eingesetzt werden.

Systeme mit begrenztem Risiko brauchen bloß vergleichsweise geringe Transparenzanforderungen zu erfüllen. Hier geht es vor allem darum, dass Nutzern bewusst gemacht werden muss, dass sie z.B. mit einem Chatbot interagieren oder dass eine Bildaufnahme manipuliert worden ist (Deepfake). Die Mehrheit der KI-Systeme soll in diese Kategorie minimal riskanter Anwendungen fallen. Dadurch sollen beispielsweise Empfehlungssysteme oder Spam-Filter, sofern sie überhaupt die Definition von künstlicher Intelligenz erfüllen, weitestgehend frei von KI-bezogenen Verpflichtungen bleiben. Um ihre besondere Vertrauenswürdigkeit hervorzuheben, können sich die Anbieter solcher Systeme zur Einhaltung freiwilliger Verhaltenskodizes verpflichten.

Es soll grundsätzlich eine Übergangsfrist von zwei Jahren für die Verordnung gelten. Die Verbote nach Artikel 5 gelten hingegen bereits nach sechs Monaten, die Vorschriften für KI-Systeme mit allgemeinem Verwendungszweck immerhin nach zwölf Monaten. Soweit spezielle Anforderungen für bestimmte Hochrisiko-KI-Systeme nach Annex II geregelt sind, bleibt mit einer Frist von 36 Monaten nach dem Inkrafttreten etwas mehr Zeit.

4.    Die Haftung für KI in der Produkthaftungsrichtlinie (ProdHaftRL-E)

Die EU hat sich entschieden, die Haftung für die Hersteller von Systemen, die mit KI arbeiten, nicht in der KI Verordnung zu regeln. Stattdessen gibt es derzeit einen neuen Entwurf der Produkthaftungsrichtlinie, die erstmalig unter die bisher nur körperlichen Produkte auch Software als solches einbezieht. Unter „Software“ sind nach Erwägungsgrund 12 beispielhaft „Betriebssysteme, Firmware, Computerprogramme, Applikationen oder KI-Systeme“ genannt. Das Ziel ist es, Gefahren, die von fehlerhaft arbeitenden Systemen ausgehen, die KI verwenden, zu reglementieren und Schadensersatzansprüche zu gewähren. Hinzu kommt, dass von den Haftungsregelungen ebenfalls Trainingsdaten für KI-Anwendungen erfasst werden, die zuvor lediglich von der Produzentenhaftung und damit auch vereinfachten Exkulpationsmöglichkeiten der Produzenten erfasst wurden.

Aus Sicht des Datenschutzrechts ist es spannend, dass die neue Produkthaftungsrichtlinie Open Source Software, die nicht kommerziell genutzt wird, zwar grundsätzlich nicht erfasst. Anders ist dies jedoch, wenn zwar für die Nutzung kein Geld, dafür aber die Preisgabe persönlicher Daten verlangt wird. Daten werden also (auch) hier nun zum „Zahlungsmittel“.

Als Haftender kommen neben dem eigentlichen Softwareentwickler unter bestimmten Voraussetzungen auch der Einführer in die EU sowie die Anbieter (Händler und Fullfillmentdienstleister) in Betracht.

Für den Haftungstatbestand muss ein Schaden durch ein fehlerhaftes Produkt verursacht worden sein. Dabei soll nun auch berücksichtigt werden, dass KI Systeme nach ihrer Fertigstellung weiterhin hinzulernen. Dies soll bereits bei der Konzeption der KI Systeme berücksichtigt werden. Dazu kann hier auf die verschiedenen Methoden des maschinellen Lernen nach oben verwiesen werden, bei denen solches Verhalten anzutrainieren und  zu berücksichtigen ist.

Für Hersteller von Software und softwaregestützten Produkten ist Artikel 6 Absatz 1 Buchstabe f) der Produkthaftungsrichtlinie-E von Bedeutung. Dieser besagt, dass bei der Beurteilung der Fehlerhaftigkeit eines Produkts auch die darin umgesetzten Sicherheitsanforderungen zu berücksichtigen sind, einschließlich relevanter Cybersicherheitsanforderungen (z.B. aus dem Cyberresilience Act). Dies stellt Wirtschaftsakteure vor besondere Herausforderungen, da der Bereich der Cybersicherheit und seine Regulierung derzeit auf europäischer Ebene umfassend, jedoch bisweilen fragmentiert durch verschiedene Rechtsakte reguliert sind.

Neben den Sicherheitsanforderungen kann auch das Verfälschen von Daten oder deren Verlust unter bestimmten Voraussetzungen einen Schaden darstellen. (Art. 4 Abs. 6 (c)). Allerdings soll dies nur Daten betreffen, die nicht ausschließlich beruflich genutzt werden.

Weitere Regelungen zur Offenlegung von Beweismitteln und Beweiserleichterungen für Betroffene runden das Bild der Richtlinie ab. Die EU-Kommission plant, den Mitgliedstaaten ab Inkrafttreten der Richtlinie zwölf Monate Zeit zu gewähren, um die neuen Vorgaben in nationales Recht umzusetzen. Ob der Vorschlag in seiner jetzigen Gestalt angenommen wird, bleibt abzuwarten, mit dem Inkrafttreten ist in 2024 zu rechnen.

5.    Ausblick

Das Feld der KI beschäftigt uns schon jetzt in vielen Lebensbereichen und wird nach Meinung des Autors noch viel weiter in unser aller Alltag – beruflich und privat – vordringen, ohne dass wir daran etwas ändern könnten. Im Ergebnis gilt es, sich damit auseinanderzusetzen und so das Beste daraus zu machen.

Gerne hilft Ihnen das Team von MKM bei allen Gestaltungs- und Rechtsfragen zum KI-Umfeld weiter. Kontaktieren Sie uns dazu gern.

Mal was Intelligentes aus Brüssel – Die europäische KI-Verordnung kommt!

Am 14.06.2023 hat sich das Europäische Parlament nach langen Diskussionen auf einen „Vorschlag für eine Verordnung… zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“ verständigt. Es wird erwartet, dass das Projekt KI-Gesetz („Artificial Intelligence Act“ oder kurz AI-Act) noch Ende 2023 abgeschlossen werden kann.

Das Thema ist dank ChatGPT nicht mehr nur Hollywood-Fiktion, sondern längst faszinierende und manchmal auch beunruhigende Realität. Obwohl sonst schnell der Vorwurf der Überregulierung durch die EU erhoben wird, kann es in diesem Bereich nicht schaden, wenn man den technischen Quantensprung so schnell und detailliert wie möglich mit Vorschriften in die richtigen Bahnen lenkt. Es gilt, Risiken für die Anwender zu minimieren, Rechte zu sichern und notfalls welche zu schaffen. Zugleich brauchen Unternehmen dringend Rechtssicherheit, wenn es um den Einsatz von KI geht. Je nach Branche werden unterschiedlich starke Auswirkungen von Technik und Recht spürbar sein.

Dieser Artikel soll zunächst einen Überblick über die zu erwartende Rechtsentwicklung geben, in weiteren Artikeln werden wir ein Licht auf die einzelnen Rechtsbereiche und Branchen werfen.

Wie lautet die Geschichte hinter dem KI-Gesetz?

Auch wenn es den Anschein hat, dass die EU mit dem KI-Gesetz erst spät auf die Entwicklungen bei ChatGPT & Co. reagiert hat, so reicht die Historie doch weiter zurück. Schon 2018 gab es auf europäischer Ebene ein Strategiepapier, 2019 einen Bericht einer Expertenkommission und 2020 das „Weißbuch zur Künstlichen Intelligenz“ der EU-Kommission. Letztere hatte den ersten Entwurf zum KI-Gesetz im April 2021 präsentiert. Allerdings hat die rasante Entwicklung der letzten Monate die Diskussionen rund um den Verordnungsentwurf nachvollziehbar beeinflusst, so dass bis zuletzt noch um die endgültige Fassung gerungen wird.

Der Rat der EU veröffentlichte am 06.12.2022 eine allgemeine Ausrichtung zum Verordnungs-Vorschlag. Am 27.04.2023 einigte sich das Parlament auf eine Stellungnahme, die leitenden Ausschüsse stimmten am 11.05.2023 über den Entwurf ab. Im EU-Parlament erfolgte im Juni 2023 dann eine finale Abstimmung, wieder mit erheblichen Änderungen. Die KI-Verordnung soll noch 2023 in Kraft treten, die meisten Vorschriften gelten dann allerdings erst nach weiteren 24 Monaten. Zuvor werden noch Gespräche mit den Mitgliedsstaaten über den finalen Verordnungstext geführt, so dass nachvollziehbar ist, dass sich dieser Beitrag nur mit der aktuellen Fassung beschäftigen kann – Änderungen also vorbehalten.

Die ausgegebenen Ziele des KI-Gesetzes klingen anfänglich widersprüchlich: Es soll transparente Regeln für den Umgang mit KI-gesteuerten Systemen schaffen, jedweden schädlichen Einfluss beschränken sowie Grundrechte der Bürger sichern. Allerdings will man zugleich den EU-weiten Wettbewerb fördern und Überregulierung vermeiden, so dass Europa bei der weltweiten Entwicklung nicht abgehängt wird. Beide Ansinnen werden am Ende zu einem Kompromiss nötigen, der nicht ohne Kritik bleiben kann.

Wer ist vom KI Gesetz betroffen?

Wer glaubt, von der Regulierung seien nur „Large Language Models“ wie ChatGPT betroffen, der irrt nachhaltig. Nach der im KI-Gesetz bewusst weit gefassten Definition handelt es sich bei KI um ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeitet und für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die physische oder virtuelle Umgebung beeinflussen. Diese Begriffsbestimmung ist sehr weit gefasst und nimmt nach dem letzten Entwurf bewusst nicht Bezug auf Software. Daher sind von der Verordnung auch Bereiche tangiert, in denen KI schon jetzt wie selbstverständlich im Hintergrund wichtige Aufgaben erfüllt. Virtuelle Assistenten, Chatbots und Empfehlungsdienste bei Streaminganbietern sind ebenso betroffen wie Spamfilter und intelligente Hilfen im Marketing oder Recruiting. Der Einsatz von KI in der Medizin bei der Diagnose von Krankheiten sei zusätzlich hervorgehoben, den Bogen zum Autonomen Fahren oder dem Metaverse wollen wir an dieser Stelle gar nicht erst spannen.

Die KI-Verordnung soll in der derzeitig bekannten Fassung für alle Anbieter und Anwender von KI-Systemen gelten. Das gilt unabhängig davon, ob diese in der Union oder in einem Drittland niedergelassen sind. Für Händler, Einführer von KI-Systemen, Bevollmächtigte von Anbietern von KI-Systemen sowie Hersteller bestimmter Produkte ist der Anwendungsbereich ebenso eröffnet, wenn diese in der Union niedergelassen oder ansässig sind. Die insoweit geltenden Regelungen sind vergleichbar mit dem Marktortprinzip aus der DSGVO.

Was wird geregelt?

Grundlegend für das Verständnis der KI-Verordnung ist der Gedanke des risikobasierten Ansatzes: Um feststellen zu können, welche Compliance- und Informationspflichten durch Unternehmen einzuhalten sind, ist die jeweilige KI-Technologie unter Berücksichtigung der Zweckbestimmung und der konkreten Anwendungsrichtlinien zu kategorisieren. Von einem geringeren Risiko bis zum hohen Risiko kann gewählt werden. Liegt allerdings ein unannehmbares Risiko vor, ist die Anwendung strikt untersagt – so wie nach dem letzten Stand des Entwurfs auch die biometrische Massenüberwachung. Für Hochrisiko-KI-Systeme hält die Verordnung sodann in der Folge eine Menge Pflichten bereit.

Neu im Juni 2023 hinzugekommen ist in Art. 4 des Entwurfs ein Katalog von Prinzipien für alle KI-Systeme. Demnach geht man über die Vorgabe freiwilliger Verhaltenskodizes hinaus und verlangt von den Betroffenen des Gesetzes die Einhaltung nachvollziehbarer Grundsätze:

  • Menschliches Handeln und menschliche Aufsicht bedeutet, dass KI-Systeme als Werkzeug entwickelt und verwendet werden, das den Menschen dient, die Menschenwürde und die persönliche Autonomie achtet und so funktioniert, dass es von Menschen angemessen kontrolliert und überwacht werden kann.
  • Technische Robustheit und Sicherheit bedeutet, dass KI-Systeme so entwickelt und verwendet werden, dass unbeabsichtigte und unerwartete Schäden minimiert werden und dass sie im Fall unbeabsichtigter Probleme robust und widerstandsfähig gegen Versuche sind, die Verwendung oder Leistung des KI-Systems so zu verändern, dass dadurch die unrechtmäßige Verwendung durch böswillige Dritte ermöglicht wird.
  • Privatsphäre und Datenqualitätsmanagement bedeutet, dass KI-Systeme im Einklang mit den geltenden Vorschriften zum Schutz der Privatsphäre und zum Datenschutz entwickelt und verwendet werden und dabei Daten verarbeiten, die hohen Qualitäts- und Integritätsstandards genügen.
  • Transparenz bedeutet, dass KI-Systeme so entwickelt und verwendet werden müssen, dass sie angemessen nachvollziehbar und erklärbar sind, wobei den Menschen bewusst gemacht werden muss, dass sie mit einem KI-System kommunizieren oder interagieren, und dass die Nutzer ordnungsgemäß über die Fähigkeiten und Grenzen des KI-Systems und die betroffenen Personen über ihre Rechte informiert werden müssen.
  • Vielfalt, Diskriminierungsfreiheit und Fairness bedeutet, dass KI-Systeme in einer Weise entwickelt und verwendet werden, die unterschiedliche Akteure einbezieht und den gleichberechtigten Zugang, die Geschlechtergleichstellung und die kulturelle Vielfalt fördert, wobei diskriminierende Auswirkungen und unfaire Verzerrungen, die nach Unionsrecht oder nationalem Recht verboten sind, verhindert werden.
  • Soziales und ökologisches Wohlergehen bedeutet, dass KI-Systeme in nachhaltiger und umweltfreundlicher Weise und zum Nutzen aller Menschen entwickelt und verwendet werden, wobei die langfristigen Auswirkungen auf den Einzelnen, die Gesellschaft und die Demokratie überwacht und bewertet werden.

Für Hochrisiko-KI-Systemen gibt es im KI-Gesetz u.a. in den Artikeln 8 bis 15 spezielle Anforderungen, die Anbieter von so genannten Basismodellen setzen diese Grundsätze durch die in den Artikeln 28 bis 28b festgelegten Anforderungen um. Alle anderen KI-Systeme erfüllen die Prinzipien durch Einhaltung der für sie geltenden Bestimmungen im KI-Gesetz bzw. durch darauf abgestimmte technische Spezifikationen.

Zum speziellen Thema der Transparenz ist von jedem Anbieter von KI-Systemen, die für die Interaktion mit natürlichen Personen bestimmt sind, sicherzustellen, dass die natürliche Person, die einem KI-System ausgesetzt ist, rechtzeitig, klar und verständlich darüber informiert wird, dass sie es mit einem KI-System zu tun hat. Das gilt nur dann nicht, wenn dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist. Zu den in diesem Zusammenhang geschuldeten Informationen sollen nach dem letzten Entwurfsstand u.a. die Frage nach der menschlichen Aufsicht und die Einspruchsmöglichkeit in Bezug auf Entscheidungen gehören.

Nicht unwichtig ist auch, dass nach Art. 4b des Entwurfs bei allen Beteiligten eine ausreichende KI-Kompetenz herbeigeführt werden soll. Dafür haben die Mitgliedstaaten in der Breite zu sorgen, aber auch die einzelnen Anbieter und Betreiber müssen sicherstellen, dass u.a. ihre Mitarbeitenden „über ein ausreichendes Maß an KI-Kompetenz verfügen“. Es wird sicher spannend, diese Anforderung mit Leben zu füllen.

Für die Freunde der Allgemeinen Geschäftsbedingungen bei Anbietern von Hochrisiko-KI-Systeme gibt es mit Art. 28a des Entwurfs noch ein besonderes Schmankerl, nämlich eine Liste von missbräuchlichen Vertragsklauseln, die man einem KMU oder einem Startup im Zusammenhang mit dem System nicht einseitig auferlegen kann.

Was wird nicht geregelt?

Das sicherlich für viele Unternehmen relevante Thema der Haftung ist nicht Gegenstand der KI-Verordnung. Man darf sich aber nicht zu früh freuen: Dafür hat die Kommission im September 2022 u.a. einen Entwurf zu einer Richtlinie über KI-Haftung veröffentlicht. Mit Elementen wie der Kausalitätsvermutung und dem erleichterten Zugang zu Beweismitteln möchte diese Richtlinie sicherstellen, dass Opfer von durch KI-Technologie verursachten Schäden in gleicher Weise entschädigt werden, als wenn dies unter anderen Umständen geschehen wäre. Mit den Auswirkungen dieser Richtlinie beschäftigt sich noch eingehend ein Folgebeitrag.

Was ist zu tun?

Das Ringen um die letztlich geltende Fassung ist noch nicht abgeschlossen. Die einen bemängeln eine Überregulierung, die anderen verlangen nach noch mehr Schutz der Grundrechte. Welche Verpflichtungen am Ende auf die beteiligten Unternehmen wirklich zukommen, kann noch nicht seriös vorhergesagt werden. Größere Änderungen sind allerdings nach dem bisherigen zähen Ringen nicht mehr zu erwarten. Eins scheint jedenfalls sicher: In Analogie zur Datenschutz-Grundverordnung wird die Zeit bis zur Geltung der weitreichenden Regelungen trotz des zweijährigen Geltungsaufschubs am Ende wieder sehr knapp bemessen sein. Es geht für Anbieter und Anwender nicht nur um die Erfüllung von Informationspflichten, sondern um eine grundlegende Risikoeinschätzung und ggf. um die Neuausrichtung von Herstellungs- und Anwendungsprozessen. Je eher die oben dargestellten Grundsätze verinnerlicht und umgesetzt sind, desto besser wird man in Zukunft aufgestellt sein.