Home

Intern

Deutsch|English

Neues Themenspecial "Quantitative Advisory – Ihr Kümmerer für komplexe Bewertungsherausforderungen" » |

Weltweit

Anscheinend ist in Ihrem Browser JavaScript nicht aktiviert. Aktivieren Sie bitte JavaScript, und versuchen Sie es erneut.

Die neue KI-Verordnung ist da – Was nun zu tun ist!

veröffentlicht am 29. August 2024 / Autorin: Pauline Rauch

Bereits im Juni 2023 hatten wir von den Chancen und Risiken der Künstlichen Intelligenz (KI) im Gesundheitssektor berichtet (KI in der Gesundheitswirtschaft: Chance oder Herausforderung?) und festgehalten, dass die Anwendung von KI im Gesundheitssektor erhebliche Potenziale aber auch Herausforderungen mit sich bringt.

Diese Herausforderungen hat auch die Europäische Union erkannt und ist Ihnen am 21.5.2024 mit dem Erlass der neuen KI-Verordnung (AI Act) begegnet. Im Zuge dieser Verordnung hat die Europäische Union erstmals einen sicheren Rechtsrahmen für die Anwendung von KI geschaffen, um die Anwendung sicher, transparent, nachvollziehbar, nicht diskriminierend und von Menschen überwacht auszugestalten.

Hintergrund und Anwendung von KI in der Gesundheitsbranche

KI hat das Potenzial, die Gesundheitsversorgung grundlegend zu verändern, indem sie Prozesse effektiver und effizienter gestaltet. Denn KI wird sowohl in der Gesundheitsversorgung, der Forschung und im administrativen Bereich genutzt. Dadurch kann sie dazu beitragen, Krankheiten früher zu erkennen, Menschen besser zu versorgen und die Ausgaben im Gesundheitssektor zu senken.

Demgegenüber stehen aber auch etliche Risiken, die durch die Nutzung von KI entstehen. So hat sich gezeigt, dass KI auch diskriminierende Entscheidungen treffen kann und so in ihrer Anwendung einzelne Personengruppen benachteiligen könnte, da Vorurteile der Gesellschaft (Sexismus, Rassismus etc.) automatisch in den Algorithmus übertragen werden.

Auch werden in der Gesundheitswirtschaft besonders sensible, personenbezogene Daten verarbeitet. Es ist daher notwendig, dass Anwender von KI die geltenden datenschutzrechtlichen Anforderungen (DSGVO, BDSG, LDSG und auch solche nach dem SGB) genau prüfen und sicherstellen, dass die Grundsätze und Vorschriften der Gesetze bei der Nutzung von KI eingehalten werden.

Zudem zeigen sich haftungsrechtliche Probleme durch den Einsatz von KI. So stellt sich stets die Frage, wer bei etwaigen Schäden haftet: Derjenige, der die KI in den Verkehr gebracht hat oder derjenige, der sie angewandt hat?

Was die KI-Verordnung regelt

Die KI-Verordnung soll den bestehenden Risiken bei der Anwendung von KI entgegentreten und die Interessen der KI-Nutzenden und KI-„Betroffenen“ wahren. Die Verordnung richtet sich damit an alle, die KI entwickeln und / oder in den Verkehr bringen oder sich KI zu Nutze machen (Anbieter und Betreiber von KI-Systemen). Unerheblich soll dabei sein, ob sich der Sitz etwaiger Unternehmen / Einrichtungen in der EU befinden. Die Verordnung soll stets greifen, sobald die KI in der EU eingesetzt, angewendet oder zugänglich gemacht wird (sog. „Marktortprinzip“). Ausnahmen finden sich für Systeme, die ausschließlich militärischen- und verteidigungspolitischen- sowie Forschungszwecken dienen.

Die neue KI-Verordnung verfolgt diesbezüglich einen risikobasierten Ansatz. Das bedeutet, je höher das Risiko für die Sicherheit, die Gesundheit oder die Grundrechte, desto strenger die Vorgaben, die durch die Verordnung festgelegt wurden:

Minimales / niedriges Risiko (z. B. KI-fähige Videospiele und Spam-Filter; diese KI-Systeme unterliegen grundsätzlich nur Transparenzpflichten, Art. 6- 27 der KI-Verordnung): Hier sollte zur Einstufung eine technische Dokumentation und Risikobewertung durchgeführt werden,
Begrenztes Risiko (z. B. Chatbots; diese KI-Systeme unterliegen Transparenz- und Informationsanforderungen, Art. 50 der KI-Verordnung): Über den Einsatz der KI müssen natürliche Personen informiert werden oder dieser muss ersichtlich sein,
Hohes Risiko (z. B. Robot- Recruiting-Systeme oder Systeme zur Risikobewertung beim Versicherungsabschluss einer Krankenversicherung; diese KI-Systeme stellen ein hohes Risiko für Gesundheit, Sicherheit und Grundrechte dar und unterliegen daher strengen Qualitäts-, Sicherheits- und Überwachungsanforderungen, Art. 6-27 der KI-Verordnung): Hier sollten u.a. Risikomanagementsysteme eingeführt werden,
Inakzeptables / unannehmbares Risiko (z. B. Social-Scoring-Systeme; diese KI-Systeme stellen ein inakzeptables Risiko aufgrund der Überwachung der Gesellschaft oder der Benachteiligung oder Bedrohung bestimmter Gruppen dar und sind daher verboten, Art. 5 der KI-Verordnung): Bei einer Einstufung in diese Risikogruppe muss die Anwendung dringend unterlassen werden.

Sanktionen nach der KI-Verordnung

Bei Verstößen gegen die KI-Verordnung drohen Unternehmen Geldbußen in Höhe von bis zu 35 Millionen Euro oder bis zu 7 % des weltweiten Jahresumsatzes. Auch Klagen von Wettbewerbern oder Schadenersatzansprüche von Betroffenen sind möglich.

Die Überwachung soll durch die Einrichtung von Leistungsgremien auf EU-Ebene als auch ausweislich von Art. 30 ff. der KI-Verordnung auf nationaler Ebene durch die Einrichtung einer entsprechenden notifizierten Behörde erfolgen.

Ausblick und Handlungsempfehlungen

Die KI-Verordnung soll nach aktuellen Einschätzungen vermutlich noch 2024 in Kraft treten. Zwischen Verabschiedung und Inkrafttreten des Gesetzes wird es eine Übergangsphase geben. Die Inhalte der Verordnung treten dann schrittweise in Kraft. Die Mitgliedsstaaten müssen den AI Act nun in ein nationales Recht umsetzen und Strafen für die Verletzung der KI-Verordnung festlegen.

Es ist zu erwarten, dass die Verordnung die Entwicklung und Anwendung von KI im Gesundheitssektor weiterhin stark beeinflussen wird. Nun bleibt abzuwarten, wie sich die Branche an die neuen Vorschriften anpassen wird und inwieweit der Einsatz von KI im Gesundheitswesen gefördert oder gehemmt wird.

Was Sie aber bereits jetzt tun sollten und (zum Teil) sogar müssen

Unternehmen der Gesundheitsbranche sollten sich bereits jetzt proaktiv auf die Umsetzung der KI-Verordnung vorbereiten und sich frühzeitig mit den einzuhaltenden Anforderungen auseinandersetzen. KI-Systeme in der Gesundheitsbranche werden vielfach unter die Hochrisiko-Systeme einzuordnen sein, wodurch sie strengen Anforderungen unterliegen. Sie sollten daher zunächst eine Analyse des Status quo durchführen und bereits frühzeitig planen, welche Maßnahmen (vorsorglich) veranlasst werden sollten.

Je nachdem welche KI-Systeme bereits angewendet werden oder zur Anwendung geplant sind, sollten notwendige Vorkehrungen getroffen werden. Es empfiehlt sich daher auch frühzeitig einen Verantwortlichen zu benennen, der sowohl gesetzliche Änderungen als auch die interne Nutzung von KI stets überwacht und dafür sorgt, dass die Prozesse zuverlässig und transparent dokumentiert werden. Die Verantwortlichen müssen darüber hinaus regelmäßig geschult werden, um die Risiken fortlaufend zu erkennen und zu überwachen.

Die Einstufung des vorliegenden Risikos durch eine geeignete Risikoanalyse kann sich dabei ebenso schwierig gestalten wie auch die Umsetzung und Einhaltung der durch die KI-Verordnung auferlegten Pflichten. Wir empfehlen Ihnen daher sich rechtlichen Beistand zu suchen, um sich nicht den drohenden Sanktionen auszusetzen.

Gerne unterstützen wir Sie von der Analyse und Risikoeinstufung Ihres Unternehmens bis hin zur Einrichtung, Umsetzung und Dokumentation eines Risikomanagementsystems. Nur so können die Vorteile von KI-Systemen in der Gesundheitsbranche sinnvoll genutzt werden, ohne dabei gegen geltende Regeln zu verstoßen und Bußgelder zu riskieren.