KI im GMP-Umfeld – eine Standortbestimmung

„Wo stehen wir heute?“, lautete seine Frage bei der 30. GMP-Konferenz im November 2024. Immerhin entwickelt sich KI schneller als jede bisher dagewesene Technologie, und es wurde weltweit noch nie so viel Geld in eine neue Technologie investiert wie in KI. 

Wer oder was hilft uns bei dieser rasanten Entwicklung in unserem GMP-Umfeld weiter?

Ein Blick in die einschlägigen GMP-Regularien wie z. B. Annex 11 zum EU-GMP-Leitfaden oder 21 CFR Part 11 der FDA ist leider Fehlanzeige. Und auch die ICH-Leitlinien Q7, 9, 10 und 12 schweigen sich aus beim Thema KI. Zwar sieht die geplante Revision des EU-Arzneimittelrechts vor, dass KI zukünftig im Annex 11 behandelt werden soll, doch vor September 2026 ist damit nicht zu rechnen. Generell muss man leider feststellen, dass Anpassungen in den Regularien viel zu lange dauern, um mit dem flotten Tempo der KI-Entwicklung Schritt halten zu können. 

Dennoch gibt es eine ganze Anzahl von Behörden-Dokumenten zum Umgang mit KI. Dazu zählen z. B.:

• Guideline on computerized systems and electronic data in clinical trials (EMA, 2023)
• Using Artificial Intelligence & Machine Learning in the development of Drug & Biological Products (FDA)

Diese Dokumente sind jedoch unverbindlich und/oder enthalten zu wenig detaillierte Vorgaben, so dass sie als „unspezifisch“ einzustufen sind.

Spezifisch, aber leider wenig bekannt, ist hingegen folgendes Dokument:

• Reflection paper on the use of Artificial Intelligence (AI) in the medicinal product lifecycle (EMA, 2024)

Oberstes Mandat der Behörde: die Vertrauenswürdigkeit von Arzneimitteln darf durch die Einführung von KI nicht beeinträchtigt werden! Dies muss mit der Einreichung der Zulassungsunterlagen nachgewiesen werden. Die EMA folgt dabei einem risikobasierten Ansatz. Und sie stellt grundlegende Anforderungen an den Einsatz von KI:

• Alle Behörden- und gesetzlichen Anforderungen müssen erfüllt sein.
• Bei der Entwicklung und Einführung von KI-Modellen müssen Maßnahmen zur Aufrechterhaltung der Patientensicherheit und Datenintegrität nachgewiesen werden.
• Der Einsatz von KI darf nicht zu Voreingenommenheit und Diskriminierung führen (z. B. bei der Patientenauswahl für klinische Studien)
• Der Mensch muss letzte Entscheidungsinstanz sein und bleiben.

Nicht spezifisch für GMP, aber dafür verbindlich sind folgende Dokumente:

• European Artificial Intelligence Act (Europäische Kommission 1.8.2024)
• Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (Präsident der USA, 30.10.2023)

Diese Regularien sind zwar nicht GMP-spezifisch, gelten aber auch für die Pharmaindustrie, denn die Patientensicherheit wird als hohes Gut eingestuft. Daneben gibt es viele weitere Regularien in anderen Bereichen der Welt, die von international tätigen Firmen befolgt werden müssen. 

Das Europäische KI-Gesetz (AI Act) beinhaltet eine Risikoklassifizierung:

• minimales Risiko (z. B. Spamfilter):
  fallen nicht unter die Gesetzgebung; interne Regelungen reichen aus
• begrenztes Risiko (z. B. chatbots, KI-generierter Inhalt):
  es müssen Transparenzregeln implementiert werden
• hohes Risiko (z. B. autonome Roboter, Systeme zur Personalauswahl):
  müssen den hohen Anforderungen des Gesetzes vollständig genügen
• nicht akzeptabel (z. B. manipulative Systeme)
  Betrieb ist in der EU verboten

Das Gesetz ist am 1.8.2024 in Kraft getreten und enthält Übergangsregelungen von 6 bis 24 Monaten, abhängig von der Risikoeinstufung. Bei Falschangaben, Verstößen oder gar der Nutzung verbotener KI drohen umsatzabhängige Geldstrafen. 

Bemerkenswertes Detail: das Gesetz gilt nicht für KI-Anwendungen und Modelle inkl. deren Ergebnisse, die speziell für die wissenschaftliche Forschung und Entwicklung entwickelt und eingesetzt wurden. 

Was heißt das nun konkret für die Pharmaindustrie? Diese offene Frage war nicht die letzte, mit der Dr. Stüben seine Zuhörerschaft konfrontierte, nachdem er dargelegt hatte, welche gesetzlichen Anforderungen es zu KI bereits gibt.

Haben Sie einen Chief AI Officer? Das verblüffte Publikum erfuhr, dass eine solche Funktion in den US-amerikanischen Behörden etabliert werden soll, wie es ein Memorandum des US-Präsidenten vom März 2024 fordert.

Haben Sie eine KI-Strategie? Was wollen Sie mit der KI-Nutzung erreichen? Einfach nur mitschwimmen im allgemeinen Hype, um Ihre Attraktivität zu steigern, oder konkrete Einsparpotentiale realisieren und Effizienzsteigerungen erreichen, damit Patienten schneller und besser versorgt werden können?

Wer ist bei Ihnen verantwortlich für KI? Gibt es eine Person oder Gruppe, die alle relevanten Regularien kennt, so dass sie Management und Fachabteilungen beraten kann? Dieser KI-Verantwortliche sollte wissen, welche KI-Anwendungen es im Unternehmen gibt, und er sollte alle für die Einführung und Bewertung notwendigen Prozesse kennen, managen und überwachen. Last but not least sollte er für das Unternehmen sprachfähig sein und dieses nach Außen vertreten. Zu viel verlangt?

Die nächste Frage zielte auf das Vorhandensein eines Risiko-Registers zu KI. Erklärtes Ziel: Alle KI-Anwendungen sind unter Kontrolle, um den Anforderungen der jeweiligen Regularien und den firmeninternen Richtlinien und Ansprüchen zu genügen. Ein Überblick über alle Einsatzbereiche ist jederzeit möglich! Klingt plausibel, aber Hand aufs Herz: wird das Thema überall so systematisch angegangen? Ein verantwortungsvoller Umgang mit KI beginnt mit einem Überblick: jede verwendete KI-Anwendung muss erfasst und gemäß definierter Kriterien bewertet werden. Darüber hinaus muss es einen klaren Prozess geben, der die Einführung jedweder KI begleitet und Wildwuchs verhindert. Ein hehres Ziel in Zeiten, in denen eine regelrechte Goldgräberstimmung in Sachen KI herrscht.

Und wussten Sie schon, dass die Einführung von KI-Systemen der betrieblichen Mitbestimmung unterliegt? Dies ergibt sich aus dem Europäischen KI-Gesetz und dem BetrVG. Sie brauchen also eine Betriebsvereinbarung, wenn Sie KI-Systeme in Ihrem Betrieb einführen wollen.

Für nachdenkliche Gesichter sorgte auch die nächste Frage: Haben Sie schonmal über Ihre KI-Komponenten nachgedacht? Von welchem Hersteller in welchem Land machen Sie sich gerade abhängig? Welche wirtschaftlichen und u. U. auch politischen Risiken können sich daraus ergeben?

Vor 8 Jahren wurde die Datenschutzgrundverordnung (DSGVO) erlassen. Sie soll digitale Nutzer vor Betrug und Übergriffen schützen und ihnen mehr Kontrolle über ihre persönlichen Daten geben. Wie sind diese Ziele vereinbar mit KI? Hilft die DSGVO bei einer kontrollierten Nutzung von KI oder behindert sie deren weitere Entwicklung?

Auf viele der heute gestellten Fragen gibt es (noch) keine Antwort. Dennoch wagte Dr. Stüben einen Ausblick, bei dem er Chancen und Risiken gegenüber stellte.

Abb. 1 Chancen und Risiken

Trotz aller vorgebrachten Einwände und Bedenken schloss Dr. Stüben seinen Vortrag mit der Erkenntnis: KI ist gekommen, um zu bleiben! 

Umso wichtiger ist es, sich mit der Thematik auseinanderzusetzen und Fachkompetenz zu entwickeln. Denn: SIE sind zwar nicht durch KI ersetzbar – aber durch einen Kollegen, der mit KI umgehen kann, wahrscheinlich schon!