Diese Definition fasst die Grundlagen und zentralen Merkmale von KI im Einklang mit den Grundsätzen für vertrauenswürdige KI zusammen, wie sie von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) formuliert wurden. Als eine der Branchen, für die ein besonders starkes Wachstum bei der Implementierung und Entwicklung von KI prognostiziert wird, müssen Life-Science-Unternehmen zusätzliche Anstrengungen unternehmen, um sicherzustellen, dass die von ihnen eingesetzten und angebotenen Systeme nicht nur den aktuellen EU-Vorschriften entsprechen, sondern auch an neue regulatorische Anforderungen angepasst werden können, sobald diese weiterentwickelt werden. Wie im EU-KI-Gesetz (Verordnung (EU) 2024/1689) dargelegt, sollten Anbieter von KI-Technologie neben ihren zahlreichen weiteren Pflichten auch sicherstellen, dass ihre künstliche Intelligenz nicht nur technologisch einwandfrei, sondern auch ethisch verantwortungsvoll ist, wie es die Leitlinien vorsehen.
Traditionelle menschliche Validierung vs. menschliche Validierung + KI
Der Einsatz künstlicher Intelligenz in der pharmazeutischen und medizinischen Forschung verändert grundlegend die Herangehensweise an klinische Studien und die Entwicklung von Arzneimitteln, da wir in das Zeitalter der KI-gestützten personalisierten Medikamentenentwicklung eintreten. Während präklinische Studien historisch auf Forschungsdaten aus Tests mit menschenähnlichen Modellen beruhten, um die Wirksamkeit und Auswirkungen von Arzneimitteln und Medizinprodukten auf den Menschen vorherzusagen, transformiert die wachsende Rolle der KI in der pharmazeutischen Industrie und der biomedizinischen Forschung den Ansatz der Branche im Gesundheitswesen und bei patientenspezifische Behandlungsstrategien erheblich. Die Einführung von KI kann zwar die Datenverarbeitung beschleunigen und die Zeit bis zur Ergebnisgewinnung verkürzen, indem große Datensätze analysiert und Machine-Learning-Algorithmen eingesetzt werden, um Biomarker zu identifizieren und Nebenwirkungen früher im Herstellungsprozess vorherzusagen. Die Risikominderung im Zusammenhang mit KI bleibt jedoch weiterhin eine entscheidende Herausforderung, um Genauigkeit, Sicherheit und eine ethische Nutzung von KI zu gewährleisten, da neue Risiken im Zusammenhang mit Verzerrungen und der allgemeinen Zuverlässigkeit von Modellen die Notwendigkeit von mehr Transparenz und aktualisierten regulatorischen Vorgaben aufgezeigt haben, um die menschliche Gesundheit zu schützen und das Vertrauen in KI-gestützte Prozesse sicherzustellen.
KI-Risiko-Nutzen-Analyse
Ein risikobasierter Ansatz hat sich als vorherrschenden Methodik im Entwicklungslebenszyklus von KI-Systemen (SDLC) etabliert. Ein bedeutendes Beispiel hierfür ist das EU-KI-Gesetz, das künstliche Intelligenz nach ihrem Risikoniveau klassifiziert, wobei KI mit hohem Risiko alles umfasst, von Systemen, die Personen profilieren und die Verarbeitung personenbezogener Daten automatisieren, bis hin zu KI-Anwendungen, die in kritischen Infrastrukturen, im Gesundheitswesen, im Verkehrswesen, in der Strafverfolgung und in anderen Bereichen eingesetzt werden, in denen Sicherheit, Privatsphäre und Grundrechte auf dem Spiel stehen. KI, die unter diese Kategorie fallen, unterliegen strengeren regulatorischen Kontrollen und Vorschriften, da sie zusätzliche Anforderungen hinsichtlich Transparenz und Rechenschaftspflicht erfüllen müssen. KI mit begrenztem Risiko hingegen, obwohl sie nicht einer umfassenden Prüfung und behördlichen Aufsicht unterliegen, müssen dennoch transparent sein und die EU-Vorschriften einhalten, unabhängig von ihrer Einstufung. KI-Chatbots und die meisten generativen KI-basierten Technologien fallen unter diese Kategorie. Da diese Technologien weiterhin von böswilligen Akteuren genutzt oder eingesetzt werden können, um Unternehmen oder Personen falsch darzustellen, müssen Anbieter dieser Technologien die Nutzer darauf hinweisen, dass sie mit KI-Technologie und nicht mit einer realen Person interagieren, wie es im Gesetz festgelegt ist. Wie in den Grundsätzen für vertrauenswürdige KI dargelegt, sollte künstliche Intelligenz den Menschen dienen und keinen Schaden anrichten. Dies ist im Bereich der Biowissenschaften besonders wichtig, da Missbrauch oder Fehler in KI-Systemen, die größtenteils auf fehlerhafte oder voreingenommene Datensätze zurückzuführen sind, direkte Auswirkungen auf die menschliche Gesundheit haben und die Risiken bei kritischen Prozessen wie klinischen Studien und der Patientenversorgung erhöhen können. Der Einsatz von KI bei der menschlichen Validierung sollte daher stets darauf ausgerichtet sein, Genauigkeit und Sicherheit zu gewährleisten, indem strenge Modellvalidierungen und Algorithmus-Tests durchgeführt werden, um die Integrität von KI-Systemen und deren Übereinstimmung mit ethischen und regulatorischen Standards sicherzustellen.
Darüber hinaus fallen medizinische Geräte, die künstliche Intelligenz enthalten, aufgrund ihrer direkten Auswirkungen auf die menschliche Gesundheit und Sicherheit unter die Kategorie der Hochrisiko-KI gemäß EU-KI-Gesetz. Diese KI-basierten Systeme spielen eine entscheidende Rolle bei Diagnosen, Behandlungsempfehlungen und der Nachsorge von Patienten, weshalb ihre Zuverlässigkeit und Genauigkeit von größter Bedeutung sind. Ein vollständiger Validierungszyklus ist unerlässlich, um die Einhaltung regulatorischen Anforderungen zu gewährleisten und die Prinzipien zuverlässiger KI zu unterstützen. Im Gegensatz zu KI-Anwendungen mit begrenztem Risiko müssen KI-basierte Medizinprodukte umfangreicheren Kontrollen unterzogen werden, um sicherzustellen, dass sie innerhalb ethischer und regulatorischer Rahmenbedingungen funktionieren und gleichzeitig sichere, effektive und unvoreingenommene Lösungen für das Gesundheitswesen bieten.
Menschliche Aufsicht: Human in the Loop (HITL) vs. Human on the Loop (HOTL)
Die menschliche Aufsicht über KI-Systeme in den Biowissenschaften ist nicht nur eine Empfehlung, sondern eine Notwendigkeit, da KI-gesteuerte Entscheidungen potenzielle erhebliche Auswirkungen auf die Gesundheit, Sicherheit und das Wohlbefinden von Menschen haben können. Da KI-Systeme sich hinsichtlich ihres Zwecks, ihrer Komplexität und ihrer Klassifizierung unterscheiden, wie im EU-KI-Gesetz angegeben, ist es nur sinnvoll, eine angemessene Aufsicht anzuwenden, die dem Risiko und den Auswirkungen des jeweiligen KI-Systems entspricht. Hochrisiko-KI-Systeme in kritischen Einsatzbereichen wie klinischen Studien und dem Gesundheitswesen erfordern ein höheres Maß an menschlicher Intervention, da die Risiken deutlich größer sind und potenzielle Fehler schwerwiegende Folgen haben können, wie falsche Diagnosen, ungeeignete Behandlungen oder eine Gefährdung der Patientensicherheit.
Diese Art der Aufsicht, bekannt als „Human in the Loop“ erfordert, dass der Mensch aktiv mitwirkt und in den Entscheidungsprozess der KI eingreift, um die Entscheidungen der KI zu analysieren und die Ergebnisse auf Grundlage seines Fachwissens zu genehmigen oder abzulehnen. In weniger kritischen Anwendungsfällen von KI im Gesundheitswesen und in den Biowissenschaften, bei denen KI weiterhin eingesetzt wird, ist ein weniger strenger Ansatz möglich, bei dem der Mensch das KI-System überwacht, jedoch nur bei Bedarf in Echtzeit eingreift. So kann er die Reaktionen und Ergebnisse der KI über einen bestimmten Zeitraum beobachten und zu bewerten sowie zu entscheiden, ob Änderungen erforderlich sind. Dieser Ansatz, bekannt als „Human on the Loop“, kann in der Forschung und Entwicklung angewendet werden, um Aufgaben wie die Analyse der Wirksamkeit von Molekülen durchzuführen, wobei die Forscher die Daten regelmäßig überprüfen und auf dieser Grundlage über die nächsten Schritte entscheiden. Es gibt weitere Arten von Mensch-in-der-Schleife-Interaktionen, obwohl HITL und HOTL die am häufigsten genutzten Ansätze bleiben. Das EU-KI-Gesetz, das 2024 verabschiedet wurde und in den nächsten Jahren in Kraft treten wird, enthält spezifische Anforderungen an die menschliche Aufsicht von Hochrisiko-KI-Systemen (HRAIs). Diese Anforderungen sehen vor, dass die für die Aufsicht zuständige Person in der Lage sein muss, die Ergebnisse des KI-Systems zu verstehen, die Befugnis und Systemrechte besitzt, jede Ausgabe bei Bedarf zu übersteuern, und von einer Organisation unterstützt wird, die die Autorität und die Ressourcen bereitstellt, um angemessene Maßnahmen zu ergreifen.
KI-Validierung, Anwendungsfälle und Risikominderung
Die KI-Validierung in den Biowissenschaften geht über herkömmliche Validierungsprozesse hinaus, da alle Elemente und Überlegungen berücksichtigt werden müssen, um sicherzustellen, dass das System nicht nur zuverlässig, sondern auch ethisch korrekt und effektiv in der Erfüllung seines Zwecks ist. Während KI-Modelle und -Systeme oft für ihre Ergebnisse verantwortlich gemacht werden, darf nicht vergessen werden, dass KIs mit Daten von Menschen gefüttert werden. Werden einer KI fehlerhafte und voreingenommene Daten zugeführt, liefert das KI-Modell entsprechend voreingenommene und falsche Ergebnisse. Um diese kostspieligen Fehler zu vermeiden, sollten Life-Science-Unternehmen solide Validierungstechniken für KI-Modelle einsetzen und klare, transparente Verfahren anwenden, um Risiken wie Verzerrungen zu minimieren.
Life-Science-Unternehmen müssen über etablierte Data-Governance-Prozesse verfügen, die sich zum Beispiel in einer korrekten Aufteilung der Daten in Trainings-, Validierungs- und Testdatensätze sowie in der Dokumentation klarer Kriterien für die Einbeziehung und Ausschluss von Daten zeigen. Um Transparenz und Rückverfolgbarkeit bei der menschlichen Validierung von KI zu gewährleisten, sollte der Entwicklungsprozess von KI-Technologien gut dokumentiert werden, insbesondere hinsichtlich Testergebnisse, Akzeptanzkriterien und Zielleistungskennzahlen. Darüber hinaus sollten Life-Science-Unternehmen festlegen, ob es sich bei der KI um ein statisches Modell oder um ein kontinuierlich lernendes Modell handelt.
Ein weiterer wichtiger Aspekt bei der Entwicklung und Implementierung von KI in unserer Branche ist die Festlegung des vorgesehenen Anwendungsfalls der Technologie sowie der vorgesehenen Nutzer, wobei bereits frühzeitig eine klare Vorstellung aller am System beteiligten KI-Akteure vorhanden sein sollte. Ein Modell, das beispielsweise zur Erkennung von Krebs bei Frauen entwickelt wurde, liefert möglicherweise nicht automatisch die gleichen Ergebnisse bei Männern, ohne dass es zuvor umfassend neu trainiert und feinabgestimmt wurde, um geschlechtsspezifische biologische Unterschiede zu berücksichtigen. Daher ist die Modellüberwachung vor und nach der Einführung eines KI-Modells ein wesentlicher Schritt, um die Wirksamkeit und Zuverlässigkeit von KI-Systemen über die Zeit sicherzustellen.
Anstatt fertige KI-Modelle, die auf dem Markt erhältlich oder bereits im Einsatz sind, als abgeschlossene Projekte zu betrachten, sollten Life-Science-Unternehmen einen Ansatz der kontinuierlichen Bewertung verfolgen und regelmäßig auf „Datenabweichungen“ überwachen und erkennen, da neue Dateneingaben die Leistung des Modells beeinflussen können. Daher ist es wichtig, dass Life-Science-Unternehmen Überwachungsstrategien in ihre Validierungsprozesse einbeziehen, um solche Abweichungen zu identifizieren, und gegebenenfalls Korrekturmaßnahmen wie Nachschulungen oder die Entwicklung neuer Modelle ergreifen, um sicherzustellen, dass diese Systeme weiterhin regulatorische und Sicherheitsstandards erfüllen und konform bleiben.
.jpg)