Validierung von KI-/ML-Systemen in GMP-Umgebungen: Anwendung des 7-Stufen-Modells der FDA

10 Min. Lesezeit | von Dr. Ulrich Koellisch (Geschäftsführer & Principal Consultant, umk consulting GmbH), Dr. Jennifer Roebber (Senior Consultant, GxP-CC)
Erschienen im LOGFILE 17/2026

Künstliche Intelligenz gewinnt auch im GMP-Umfeld an Bedeutung und stellt Unternehmen vor neue regulatorische Herausforderungen. Zusammengefasst werden aktuelle regulatorische Entwicklungen, ein Validierungsrahmen auf Basis des FDA-7-Stufen-Modells sowie erste Praxiserfahrungen.

Überblick

Künstliche Intelligenz ist inzwischen das zentrale Schlagwort in nahezu allen Branchen. Unternehmen stehen unter erheblichem Druck, Prozesse schneller, intelligenter und effizienter zu gestalten. Dieser Druck macht auch vor GMP-regulierten Bereichen nicht halt. Gleichzeitig besteht jedoch die gegenteilige Auffassung, dass sich KI-/ML-Systeme grundsätzlich nicht in einer regulatorisch konformen Weise validieren und kontrollieren lassen.

Die vergangenen zwei bis drei Jahre waren von einer hohen Dynamik geprägt: Zahlreiche neue Projekte wurden initiiert, während sich regulatorische Anforderungen, Leitlinien und Best-Practice-Ansätze kontinuierlich weiterentwickelten. In diesem Beitrag werden die aktuellen regulatorischen Entwicklungen zusammengefasst, ein Validierungsrahmen für KI-/ML-Subsysteme vorgestellt, der sich am von der FDA Anfang des vergangenen Jahres veröffentlichten 7-Stufen-Modell orientiert [1], sowie Erfahrungen und Erkenntnisse aus ersten praktischen KI-/ML-Validierungsprojekten dargestellt.

Regulatorische Anforderungen und Leitlinien

Betrachten wir zuerst die Veröffentlichung des Leitlinienentwurfs der FDA im Januar 2025 [1]. Dieser führt einen bemerkenswerten Wandel in den Validierungskonzepten und der verwendeten Terminologie ein. Anstelle des Begriffs „Validierung“ verwendet die FDA den stärker auf Vertrauen ausgerichteten Begriff der „Credibility“ („Glaubwürdigkeit“) beziehungsweise des „Establishing Trust“ („Vertrauen schaffen“). Das vorgestellte Rahmenwerk basiert auf einem risikobasierten 7-Stufen-Prozess zur Etablierung dieser Glaubwürdigkeit. 

Bemerkenswert ist dabei der sehr allgemeine Charakter des Ansatzes. Spezifische Regelungen für komplexe KI-Systeme, beispielsweise Generative KI, fehlen. Stattdessen liegt der Schwerpunkt auf der Herstellung von Glaubwürdigkeit innerhalb eines klar definierten Anwendungsbereichs („Context of Use“) sowie auf einer beschreibenden Dokumentation zur Kontrolle der identifizierten Risiken. In der praktischen Umsetzung erinnert der Ansatz insgesamt an etablierte Qualitätssicherungsprinzipien, lässt jedoch in bestimmten Szenarien und bei komplexeren Risikobetrachtungen Detailtiefe und Differenzierung vermissen.

Einen anderen Schwerpunkt setzt der Entwurf der europäischen Behörden. Nur sechs Monate nach Veröffentlichung des FDA-Entwurfs veröffentlichte die EMA den Entwurf des neuen Annex 22 [4] – einen vollständig neuen GMP-Anhang, der sich ausschließlich mit Künstlicher Intelligenz befasst. Im Gegensatz zur FDA verfolgt die EMA dabei einen stärker vorgegebenen Ansatz.

Bereits im ersten Entwurf werden verschiedene Arten von KI-Systemen abgegrenzt. Für kritische GMP-Anwendungen werden probabilistische und dynamische Modelle grundsätzlich ausgeschlossen. Zu den probabilistischen Modellen zählen auch Systeme der Generativen KI und damit sämtliche Large Language Models (LLMs). Die zugrunde liegende Argumentation ist nachvollziehbar: Solche Systeme stellen etablierte Prinzipien des Change-Managements und der Verifikation vor besondere Herausforderungen und erfordern ein höheres Maß an fachlicher Überprüfung und Kontrolle. Nach aktueller Einschätzung der EMA sind die damit verbundenen Risiken für kritische GMP-Anwendungen derzeit zu hoch. Gleichzeitig wurde jedoch signalisiert, dass diese Position im Rahmen der weiteren Überarbeitung des Entwurfs angepasst werden könnte.

Trotz dieser unterschiedlichen regulatorischen Ansätze betonen die Behörden wiederholt ihre grundsätzlich positive Haltung gegenüber der Einführung neuer Technologien im Allgemeinen und von KI- und Machine-Learning-Systemen im Besonderen. So veröffentlicht die FDA beispielsweise Informationen zur Nutzung ihrer KI-Plattform ELSA 4.0 zur Steigerung der Effizienz behördlicher Prozesse [11]. Dies steht im Einklang mit den grundlegenden CGMP-Anforderungen der FDA [9], die den Einsatz aktueller Technologien zur kontinuierlichen Verbesserung der Prozessqualität ausdrücklich fordern

Abbildung 1 | KI-spezifische regulatorische Leitlinien werden durch etablierte Industriestandards und aktuelle Best-Practice-Ansätze unterstützt. KI-Richtlinien und Governance-Konzepte leiten sich aus den seit langem etablierten Grundprinzipien bestehender Qualitätsmanagementsysteme ab.

Validierungskonzept 

Ein gemeinsamer Ansatz der regulatorischen Leitlinien sowie der zahlreichen seitdem veröffentlichten Best-Practice-Dokumente der Industrie (siehe Referenzen und Abbildung 1) ist die Empfehlung, die Validierung von KI-/ML-Subsystemen auf Basis eines angepassten risikobasierten Ansatzes zu beginnen.

Nach unserem Verständnis sollte das zugrunde liegende Risikomanagement nicht darauf abzielen, jede denkbare Systemkonfiguration zu untersuchen oder nach expliziten regulatorischen Vorgaben für jeden Einzelfall zu suchen. Stattdessen empfiehlt sich die Orientierung an grundlegenden Leitprinzipien. Eines der wichtigsten Beispiele hierfür ist das Prinzip des gültigen Annex 11 [2] – zuletzt im Rahmen der Überarbeitung erneut bekräftigt [3] –, dass bei der Einführung oder Aktualisierung eines computergestützten Systems das Gesamtrisiko des zugrunde liegenden Prozesses nicht erhöht werden darf. 

Diesen Grundsatz kombinieren wir mit dem Risikomanagementansatz aus ICH Q9(R1) [5] zur Identifizierung und Beherrschung von Risiken:

• Zunächst werden die Gefährdungen innerhalb des Prozesses identifiziert; anschließend erfolgen die Bewertung, Beurteilung und Risikominderung der daraus resultierenden Risiken.
• Nach Abschluss dieser Schritte kann eine transparente Risikobewertung unter Berücksichtigung von Produktqualität, Patientensicherheit und Produktverfügbarkeit erfolgen.
• Zusätzlich sind diejenigen Risiken zu identifizieren und zu bewerten, die spezifisch durch den Einsatz eines KI-/ML-Subsystems entstehen – eingebettet in den bestehenden Qualitätsrisikomanagementprozess. 

Da KI-/ML-Subsysteme in der Regel Bestandteil größerer computergestützter Systeme sind, empfehlen wir, die entsprechenden Validierungsaktivitäten in bestehende CSV- beziehungsweise CSA-Prozesse zu integrieren, anstatt separate KI-spezifische Richtlinien zu etablieren. Unabhängig von ihrer Größe sind KI-Systeme stets in ein übergeordnetes Betriebsumfeld eingebettet und interagieren mit weiterer Software, Hardware, Mitarbeitern und organisatorischen Abläufen. 

Wie aus ICH Q9, Annex 11, Annex 15 sowie Kapitel 4 des EU-GMP-Leitfadens (Dokumentation) bekannt ist, entstehen die größten und häufig am schwersten erkennbaren Risiken häufig an den Schnittstellen zwischen Systemen, Prozessen und Personen. Ein integrierter Ansatz ermöglicht eine wirksamere Kontrolle dieser Wechselwirkungen als isolierte KI-spezifische Regelungen. 

Abbildung 2 | 7-Stufen-Modell der FDA zur Etablierung von Glaubwürdigkeit („Credibility“) für KI-/ML-Systeme.

Anwendung des 7-Stufen Modells 

Abbildung 2 zeigt den von der FDA vorgeschlagenen 7-Stufen-Ansatz zur Etablierung von Glaubwürdigkeit („Credibility“) für Modelle. In unserem vorgeschlagenen Rahmenwerk werden die sieben Schritte auf drei Dokumente abgebildet: die High Level Risk Assessment (HLRA), den Credibility Assessment Plan (CAP) und den Credibility Assessment Report (CAR).

Nach einem Jahr praktischer Anwendung dieses Modells in realen Validierungsprojekten ergeben sich aus unserer Sicht die folgenden Erkenntnisse:

• High Level Risk Assessment (HLRA) („Der Trichter“ in Abbildung 2): Es hat sich bewährt, die ersten drei Schritte des FDA-Prozesses in einem Dokument zusammenzufassen. Ziel ist es, bereits sehr früh im Validierungsprozess zu beurteilen, ob der geplante Anwendungsfall grundsätzlich akzeptabel ist und welcher Validierungsaufwand sich aus der identifizierten Risikoklasse ergibt. Auf diese Weise kann frühzeitig erkannt werden, ob der Anwendungsbereich zu weit gefasst oder das Risiko des Modells für die vorgesehene Anwendung zu hoch ist, bevor erhebliche Ressourcen in ein bestimmtes Szenario investiert werden. Selbst für eine erste, übergeordnete Risikobetrachtung erscheint der Risikokategorisierungsansatz der FDA jedoch zu vereinfacht. In der Praxis fallen viele Modelle in eine nur unzureichend definierte Kategorie „mittleren Risikos“, ohne dass sich daraus klare Folgeschritte ableiten lassen.
  
  Unsere Erfahrungen zeigen, dass die Abbildung von Prozessen und Datenflüssen eine wesentliche Voraussetzung für jede aussagekräftige Risikobewertung darstellt. Dadurch wird ein gemeinsames Verständnis des vorgesehenen Verwendungszwecks („Intended Use“) geschaffen, bestehend aus der zu beantwortenden Fragestellung („Question of Interest“) und dem Nutzungskontext („Context of Use“). Für die Bewertung des Gesamtrisikos ist in der Regel eine Kombination aus der Kritikalität des Verwendungszwecks und der Verwundbarkeit des Modells („Model Vulnerability“, siehe Abbildung 2) erforderlich. Dieser Ansatz ermöglicht eine differenziertere Einstufung von Risiken und macht gleichzeitig transparent, wodurch diese Risiken entstehen. So weisen beispielsweise probabilistische oder dynamische Modelle eine höhere inhärente Verwundbarkeit auf. Die daraus resultierenden Risiken können unter Umständen durch eine intensivere fachliche Überprüfung des Modells sowie durch eine geringere Autonomie im operativen Einsatz reduziert werden. Vergleichbare Ansätze werden auch in den Referenzen [6] und [8] beschrieben.
  
  Da zu Beginn eines Projekts häufig zunächst ein vollständiger Entwicklungsdatensatz erstellt werden muss und wesentliche Rahmenbedingungen – beispielsweise der Grad der menschlichen Interaktion mit dem System – noch nicht abschließend festgelegt sind, besitzen Planung und Umsetzung von KI-/ML-Projekten naturgemäß einen iterativen beziehungsweise agilen Charakter.

• Credibility Assessment Plan (CAP): Ziel dieses Schrittes ist die Erstellung eines Plans zur Dokumentation, wie modellspezifische Risiken von KI-/ML-Subsystemen adressiert werden beziehungsweise, warum bestimmte Risiken nicht relevant sind. Sowohl die FDA als auch die EMA beschreiben in ihren Leitlinien verschiedene KI-spezifische Themenfelder, die bei der Bewertung berücksichtigt werden sollten. Diese Anforderungen und Fragestellungen können in Form von Checklisten strukturiert werden.
  
  In der praktischen Anwendung hat sich gezeigt, dass dieser Schritt am effektivsten durch ein interdisziplinäres Team durchgeführt wird, gegebenenfalls unter Einbeziehung technischer Lieferanten. Gemeinsam kann bewertet werden, welche Aspekte für das jeweilige Projekt relevant sind und welche nicht.
  
  Der CAP kann entlang der Lebenszyklusphasen des KI-/ML-Subsystems strukturiert werden und stellt dadurch eine wertvolle Orientierungshilfe dar, um Gefährdungen und die daraus resultierenden Risiken systematisch zu identifizieren, zu bewerten und gegenüber unterschiedlichen Stakeholdern sowie Inspektoren und Auditoren nachvollziehbar zu erläutern.
  
  Die Ergebnisse des CAP fließen unmittelbar in das Validierungsprojekt ein und beeinflussen insbesondere die User Requirements Specification (URS) sowie die funktionale Risikobewertung. Von dort aus werden Anforderungen, Gefährdungen und Risiken innerhalb des regulären Validierungsprozesses adressiert und kontrolliert.
  
  Auch in diesem Schritt hat sich ein iteratives Vorgehen bewährt, da zu Projektbeginn häufig noch nicht alle für den CAP erforderlichen Informationen vorliegen. In der Praxis kann die erste Glaubwürdigkeitsbewertung sogar zu Anpassungen des Implementierungsdesigns führen, beispielsweise bei der Auswahl eines technischen Lieferanten oder durch die Ergänzung von sogenannten „Guardrails“ und Überwachungskonzepten zur Sicherstellung eines kontrollierten Betriebs.
• Credibility Assessment Report (CAR): Der Credibility Assessment Report dient der Dokumentation der tatsächlich durchgeführten Aktivitäten – beispielsweise Designentscheidungen, Testmaßnahmen und prozeduraler Kontrollen – im Vergleich zu den im CAP geplanten Aktivitäten. Die eigentlichen Validierungsaktivitäten finden somit zwischen der Erstellung des CAP und der Fertigstellung des CAR statt. Der Bericht wird üblicherweise erst gegen Ende des Projekts erstellt, unmittelbar vor dem Abschluss des Validierungsberichts.
  
  In der Praxis fungiert der CAR häufig als abschließende Plausibilitäts- und Vollständigkeitsprüfung. Abweichungen vom ursprünglich festgelegten CAP müssen im Rahmen des Qualitätsmanagementsystems angemessen bewertet und bearbeitet werden.
• Abschließende Credibility-Bewertung: Der letzte Schritt des FDA-Leitfadens besteht in der Beurteilung der Angemessenheit des Modells: Ist das KI-Modell für den vorgesehenen Verwendungszweck ausreichend glaubwürdig („credible“)? 
  
  Diese Fragestellung kann entweder direkt im Credibility Assessment Report beantwortet oder formal in den abschließenden Validierungsbericht integriert werden.

„Lessons Learned“

Bei der Anwendung des beschriebenen 7-Stufen-Modells haben sich insbesondere die folgenden Erkenntnisse ergeben:

Benutzeranforderungen (User Requirements)

• Anforderungen sollten möglichst früh im Projekt definiert werden. Für welche Kategorien soll das System eine messbare Verbesserung erzielen? Welche Leistungskennzahlen und Akzeptanzkriterien sind aus geschäftlicher Sicht erforderlich? Wenn gemäß Annex 11 das Gesamtrisiko eines Prozesses nicht erhöht werden darf, muss die User Requirements Specification (URS) nachweisen, dass das neue System gegenüber dem bestehenden Zustand eine Verbesserung oder zumindest ein gleichwertiges Leistungsniveau erzielt. Entscheidungen über Beschaffung, Systemdesign und Validierungsstrategie können nur getroffen werden, wenn diese Zielwerte frühzeitig definiert sind.
• Machine-Learning-Modelle sind letztlich mathematische Modelle und können keine perfekte Leistung erbringen. Es besteht stets ein Zielkonflikt zwischen unterschiedlichen Leistungsparametern. So stellt sich beispielsweise für ein in der visuellen Inspektion genutztes Modell die Frage, ob die URS eine besonders hohe Erkennungsleistung fordern sollte und inwieweit dadurch die wirtschaftliche Umsetzbarkeit des Projekts gefährdet wird, etwa durch eine zu hohe Falsch-Ausschleusungsrate.

• Die Einbindung einer menschlichen Überprüfung („Human in the Loop“) beziehungsweise Zweitprüfung wird häufig als Risikominderungsmaßnahme vorgeschlagen. Dabei sollten jedoch zwei wesentliche Fragen berücksichtigt werden:
  
  ◦ Ist eine menschliche Überprüfung im konkreten Anwendungsfall überhaupt praktikabel und angemessen, beispielsweise bei sehr hohen Durchsatzraten?
  
  ◦ Ist zu erwarten, dass die Kombination aus Mensch und KI tatsächlich bessere Ergebnisse erzielt als das jeweilige System allein? Insbesondere bei Large Language Models (LLMs) können plausibel formulierte und fachlich überzeugend wirkende Antworten fehlerhaft oder unvollständig sein. Es sollte kritisch hinterfragt werden, ob ein menschlicher Anwender solche Fehler tatsächlich zuverlässig erkennen kann.

Lieferantenmanagement

• Die frühzeitige Einbindung potenzieller Lieferanten ist entscheidend, um die verfügbaren technischen Optionen, die eingesetzten Modelle sowie die Leistungsfähigkeit der jeweiligen Lösung zu verstehen. Eine frühe Zusammenarbeit erleichtert die Auswahl des geeigneten Lieferanten und der passenden Technologie.
• Aussagen und Leistungsversprechen von Lieferanten sollten kritisch hinterfragt und nach Möglichkeit durch anspruchsvolle Testfälle überprüft werden.
• Lieferanten sollten aktiv in die Erstellung des Credibility Assessment Plans (CAP) eingebunden werden. Darüber hinaus empfiehlt es sich, KI-/ML-spezifische Fragestellungen in Lieferantenaudits und regelmäßige Lieferantenbewertungen aufzunehmen.

Schulung und Qualifizierung im Bereich KI/ML

• Mitarbeitende der Qualitätssicherung sollten grundlegende Kenntnisse zu KI- und ML-Technologien erwerben, um risikobasierte Entscheidungen fundiert treffen zu können. Im Vergleich zu klassischen computergestützten Systemen verschieben sich bei KI-/ML-Subsystemen die relevanten Risikoszenarien und Bewertungskriterien deutlich in Richtung Datenqualität, Data Governance und Datenmanagement.
• Bei Unsicherheiten betonen die Aufsichtsbehörden – insbesondere die FDA – ausdrücklich die Möglichkeit, frühzeitig den Dialog mit den Behörden zu suchen und geplante Projekte bereits in einer frühen Projektphase zu diskutieren.

Fazit 

Zusammenfassend zeigt sich, dass die Validierung von KI-/ML-Subsystemen trotz eines sich kontinuierlich weiterentwickelnden regulatorischen Umfelds bereits erfolgreich umgesetzt und im Rahmen behördlicher Inspektionen bewertet werden können. Grundlage hierfür ist die Kombination etablierter Validierungsprinzipien aus Annex 11 und ICH Q9 mit einer gezielten Dokumentation der KI-/ML-spezifischen Eigenschaften sowie der damit verbundenen Risiken.

Als wesentliche Erfolgsfaktoren haben sich die Zusammenarbeit in interdisziplinären Teams sowie gezieltes Training der beteiligten Stakeholder erwiesen. Dazu gehören insbesondere die Vermittlung grundlegender KI-/ML-Kenntnisse an Mitarbeitende der Qualitätssicherung sowie die Schulung von Data Scientists in den Bereichen Qualitätsmanagement, computergestützte Systeme und Validierung. Nur durch ein gemeinsames Verständnis von Technologie, Risiko und regulatorischen Anforderungen lässt sich eine nachhaltige und GMP-konforme Implementierung von KI-/ML-Systemen erreichen.

Referenzen

[1] Considerations for the Use of Artificial Intelligence To Support Regulatory Decision-Making for Drug and Biological Products; FDA; 2025

[2] Eudralex Volume 4 Good Manufacturing Practice Medicinal Products for Human and Veterinary Use; Annex 11 Computerised Systems; 2011

[3] Draft Guidelines: Revised Annex 11 – Computerised Systems; EMA; 2025 

[4] Draft Guidelines: New Annex 22 – Artificial Intelligence; EMA; 2025

[5] ICH Q9 (Revision 1) Quality Risk Management; ICH; 2023

[6] ISPE GAMP® AI Guide; ISPE; 2025

[7] VDI/VDE-EE3516 Blatt 7: Validation in GxP area - Usage of machine learning methods in pharmaceutical industry; VDI; 2024

[8] Blumenthal et al.; Machine Learning Risk and Control Framework; Pharmaceutical Engineering, 2024

[9] Facts About the Current Good Manufacturing Practice (CGMP); FDA; 2025

[10] Guiding Principles of Good AI Practice in Drug Development; FDA/EMA; 2026

[11] FDA News Release: FDA Expands AI Capabilities and Completes Data Platform Consolidation; May 2026

Haben Sie Fragen oder Anregungen? Bitte kontaktieren Sie uns.redaktion@gmp-verlag.de