Welche Rolle spielt die Risikobewertung beim Einsatz von KI-Systemen in der Personalentwicklung?
Auszug aus dem GMP-BERATER, Kapitel 2.B, Schulung als Element der Personalentwicklung
5 Min. Lesezeit | von Dr. Michael Hiob
Erschienen im LOGFILE 03/2026
KI-Systeme treten im Bereich von GMP-Schulungen in vielfältiger Form und unterschiedlichsten Anwendungen in Erscheinung. Die Entwicklung in diesem Bereich verläuft rasant. Ein tiefes Verständnis der Systeme und eine individuelle Risikobetrachtung vor dem Einsatz sind deshalb unerlässlich.
KI-Systeme treten im Bereich von GMP-Schulungen in vielfältiger Form und unterschiedlichsten Anwendungen in Erscheinung. Die Entwicklung in diesem Bereich verläuft rasant. Dementsprechend ist es schwer, abschließend zu definieren, was ein KI-System darstellt und umfasst. In Erwägungsgrund Nr. 12 zur KI-Verordnung findet man dazu hilfreiche Hinweise:
„Ein wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit, abzuleiten. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben, wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von KI-Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten abzuleiten. Zu den Techniken, die während der Gestaltung eines KI-Systems das Ableiten ermöglichen, gehören Ansätze für maschinelles Lernen, wobei aus Daten gelernt wird, wie bestimmte Ziele erreicht werden können, sowie logik- und wissensgestützte Konzepte, wobei aus kodierten Informationen oder symbolischen Darstellungen der zu lösenden Aufgabe abgeleitet wird. Die Fähigkeit eines KI-Systems, abzuleiten, geht über die einfache Datenverarbeitung hinaus, indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden. Die Bezeichnung „maschinenbasiert“ bezieht sich auf die Tatsache, dass KI-Systeme von Maschinen betrieben werden. Durch die Bezugnahme auf explizite oder implizite Ziele wird betont, dass KI-Systeme gemäß explizit festgelegten Zielen oder gemäß impliziten Zielen arbeiten können. Die Ziele des KI-Systems können sich — unter bestimmten Umständen — von der Zweckbestimmung des KI-Systems unterscheiden.“ |
Ein KI-System arbeitet in unterschiedlichem Grad autonom und kann sich nach dem Einsatz anpassen, indem es aus Eingaben oder Daten lernt und so Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen generiert.
Risikobewertung
Vor dem Einsatz von KI-Systemen muss eine individuelle Risikobewertung durchgeführt werden. Wie bereits dargestellt, sind die Einsatzmöglichkeiten von KI bei der Durchführung von GMP-Schulungen sehr vielfältig. Dementsprechend kann hier keine pauschale Aussage über ihre Risikoeinstufung gemacht werden. Es ist die Pflicht des Herstellers, die von ihm eingesetzten KI-Systeme individuell zu analysieren und zu bewerten. Die Risikoklassifizierung von KI-Systemen erfolgt auf der Basis der Vorgaben der EU-KI-Verordnung. Danach werden KI-Systeme in verschiedene Risikostufen eingeteilt, denen jeweils unterschiedliche Anforderungen zugeordnet sind:
Maßgeblich für die Risikoeinstufung sind
- der Zweck, Anwendungsbereich und die von dem KI-System zu erfüllenden Aufgaben,
- der Grad der Automatisierung und der Umfang der Kontrolle/Steuerung durch den Menschen,
- die technische Ausgestaltung, wie z.B. die Komplexität der Algorithmen, die Datenbasis und die Fähigkeit, Entscheidungen zu treffen. Besonders große Modelle können als systemisches Risiko eingestuft werden.
- die potentielle Schadenswirkung anhand der Kombination aus der Wahrscheinlichkeit eines Schadenseintritts und der Schwere des möglichen Schadens. Berücksichtigt werden physische, psychische, gesellschaftliche und wirtschaftliche Schäden.
Die nachfolgende Tabelle enthält eine (nicht abschließende) Auflistung von Risiken und Gegenmaßnahmen, die beim Einsatz von KI-Systemen im Rahmen der GMP-Schulung zu beachten sind:
KI-Systeme, die bei GMP-Schulungen eingesetzt werden, dürften in der Regel nicht in die Hochrisiko-Kategorie nach der KI-Verordnung fallen, da sie keinen direkten Einfluss auf Patientensicherheit, Arzneimittelherstellung oder regulatorisch relevante Entscheidungen im Produktionsprozess haben. KI-Systeme werden hier zur Wissensvermittlung, als Assistenzsysteme für Lerninhalte oder zur Verwaltung, Durchführung und Auswertung von Schulungen eingesetzt. Insoweit ist eine Einstufung als System mit minimalem oder begrenztem Risiko anzunehmen. Eine konkrete Einordnung sollte jedoch immer im Einzelfall anhand des Einsatzzwecks und der regulatorischen Vorgaben erfolgen.
- KI-Systeme, die mit Menschen interagieren (z.B. Chatbots) oder KI-gestützte E-Learning-Plattformen, könnten als Systeme mit begrenztem Risiko eingestuft werden.
- KI-Systeme zur automatisierten Terminplanung, zum Ressourcenmanagement oder zur Dokumentation von Schulungsergebnissen stellen in der Regel ein minimales Risiko dar, da das Schadenspotential sehr gering ist.
- Automatisierte Auswertungen von Erfolgskontrollen und die Erstellung von Schulungsnachweisen stellen ein minimales bis begrenztes Risiko dar, solange keine persönlichen Leistungsbewertungen ohne menschliche Kontrolle erfolgen. Wenn die KI mit besonders sensiblen personenbezogenen Daten arbeitet und diese in die Bewertung einfließen, könnte das Risiko steigen.
- Wenn die KI eigenständig entscheidet, ob eine Person eine Schulung bestanden hat oder nicht, und dies Auswirkungen auf die Entscheidung über die Qualifikation oder Beschäftigung hat, könnte sie in die Hochrisiko-Kategorie fallen. Dies sollte jedoch im GMP-Schulungskontext nicht vorkommen, da in der Regel eine menschliche Endkontrolle vorzusehen ist.
Haben Sie Fragen oder Anregungen? Bitte kontaktieren Sie uns.redaktion@gmp-verlag.de
Folgende Beiträge könnten Sie auch interessieren
