Der EU AI Act und seine Folgen

Der AI Act der EU schafft regulatorische Klarheit zum Einsatz von KI – auch in der Medizin. Dies bringt neue Verpflichtungen mit sich. Wir unterstützen Kunden und Hersteller bei deren Erfüllung.

Fünf Jahre lang hatte das Europäische Parlament an der weltweit ersten Gesetzgebung für das Inverkehrbringen von Produkten mit Künstlicher Intelligenz (KI) gearbeitet. Im Juli 2024 wurde der Gesetzestext (EU Verordnung 2024/1689)  veröffentlicht. Ziel ist es, sichere und vertrauenswürdige KI in der Europäischen Union zu fördern – auch in der Medizin. Genau wie die Medizinprodukteverordnung (MDR) verfolgt der AI Act dabei einen risikobasierten Ansatz. Nicht jede KI, die in Medizinprodukten zum Einsatz kommt, ist mit einem Risiko für Menschen verbunden und unterliegt demzufolge besonders strengen Vorschriften. Doch Produkte, die gemäß der MDR in der Klasse IIa oder höher einzustufen sind, klassifiziert der AI Act automatisch als „Hochrisikosysteme“, weil ihr Einsatz potenziell eine erhebliche Gefahr für Gesundheit, Sicherheit oder Grundrechte darstellen kann. 

Vier Handlungsbereiche im Fokus

„Daraus ergeben sich nicht nur für Hersteller und Inverkehrbringer, sondern auch für die Anwenderinnen und Anwender Verpflichtungen, über die sie sich im Klaren sein müssen“, sagt Dr. Marc Kämmerer, Leiter unseres Innovationsmanagements. Grob lassen sich dabei vier Handlungsfelder unterscheiden: Die Governance der Datenqualität ist noch recht eindeutig Sache der Hersteller. Hier geht es u. a. darum, unvollständige Trainingsdatensätze zu verhindern, die zum Beispiel entstehen können, wenn ein Datensatz, vornehmlich rekrutiert aus Studien von Männern, dazu führt, dass das lernende System einen Algorithmus berechnet, der nur für die männliche, nicht aber die weibliche Biologie stimmige Ergebnisse liefert. Eine weitere Anforderung betrifft die Minimierung bekannter und vorhersagbarer Risiken, etwa, dass falsch positive Ergebnisse zur offiziellen Diagnose werden. Ein dritter Aspekt ist die Sicherstellung einer adäquaten Performance des Systems, die sich nicht nur an der Qualität des Outputs bemisst, sondern zum Beispiel an der Bearbeitungszeit. Sollten Nutzenden hier Mängel auffallen, sind sie gesetzlich verpflichtet, dies dem Hersteller zu melden. 

Gefordert sind sie nicht zuletzt auch im vierten Handlungsfeld, das die Information und Schulung der Nutzenden betrifft. „Der AI Act verlangt, dass Nutzer wissen, wie man mit einer KI umgeht, insbesondere was die Risiken und die Grenzen der Aussagekraft von Diagnosen angeht“, so Marc Kämmerer. Wichtig zu verstehen sei auch: Alle diese Anforderungen müssen über den gesamten Produktlebenszyklus eines KI-Systems erfüllt werden.

Reports sind für Anwendende Pflicht

Unser Team hat sich in den vergangenen Monaten intensiv mit den Implikationen und möglichen Interpretationen des AI Acts beschäftigt – sowohl im Hinblick auf die eigenen Verpflichtungen als auch auf die Unterstützungsmöglichkeiten von Kunden und Partnern. Beispielsweise kann JiveX künftig bei der Erfassung des Benutzernutzungsverhaltens und der Ergebnisqualität der KI-Systeme mit Blick auf die sogenannte Post Market Surveillance einen sinnvollen Beitrag liefern. Für die zuverlässige, DSGVO-konforme Übertragung dieser Daten kann unsere Software zusätzlich einen niederschwellig verfügbaren Beitrag liefern, wobei Marc Kämmerer betont: „Selbst, wenn solche Kanäle nicht bestehen, sind alle KI-Nutzer dazu verpflichtet, Probleme und Auffälligkeiten im Systemen an die Hersteller zu berichten.“ Sein Rat: Trotz der Übergangsfrist für Hochrisikosysteme bis zum 1. August 2026 sollten Herstellende, Inverkehrbringende und Nutzende sich frühzeitig mit den neuen Pflichten und den daraus resultierenden Notwendigkeiten vertraut machen.

Hier können Sie den AI Act im Wortlaut nachlesen.