El experimentado personal de PQE Group está aquí para apoyar a tu empresa a cumplir con la normativa y validar tus sistemas, utilizando las herramientas más novedosas del mercado.
Visita nuestra página de servicios de Gobernanza Digital para saber más o ponerte en contacto con nosotros, y encontrar la solución más adecuada para tu empresa.
Introducción
Los sistemas AI/ML tienen un potencial revolucionario para muchas industrias, incluidos los sectores farmacéuticos y de dispositivos médicos. Estos sistemas pueden analizar grandes cantidades de datos, identificar patrones y tendencias, y hacer predicciones o apoyar en la toma de decisiones que puede ayudar a mejorar los resultados de los pacientes y agilizar las operaciones. En particular, se pueden encontrar algunos ejemplos de aplicaciones de AI/ML en:
- Fabricación: análisis de datos y mejora de procesos, liberación de lotes en tiempo real, inspecciones de calidad automatizada (por ejemplo, inspecciones de tabletas).
- Farmacovigilancia: Monitorización automatizada de eventos adversos.
- Investigación: descubrimiento de fármacos, selección y estratificación de poblaciones.
- Productos Sanitarios: Diagnósticos automatizados basados en visión artificial.
Sin embargo, con la creciente dependencia de AI y ML en estos campos, es crucial asegurarse de que estos sistemas estén validados y funcionen según lo previsto. Este es por qué la segunda edición de la guía GAMP 5 “A Risk-Based Approach to Compliant GxP Computerized Systems”, los Apéndices se han ampliado para abarcar estos conceptos nuevos y en evolución, que están teniendo un impacto considerable en todo el sector de las ciencias de la vida.
¿Por qué validar BPx de sistemas AI/ML?
Proporcionar un nivel aceptable de credibilidad para los algoritmos basados en datos es de suma importancia debido a la baja transparencia inherente de la tecnología. Por lo tanto, para garantizar un nivel adecuado de calidad que mitigue el alto riesgo de producir resultados incorrectos o poco confiables, las agencias regulatorias como la FDA Food and Drug Administration de Estados Unidos y la EMA European Medicines Agency han establecido requisitos de alto nivel para garantizar la seguridad y la eficacia de los productos y servicios basados en AI.
Los requisitos mencionados anteriormente están relacionados principalmente con:
- Calidad de los datos (es decir, la calidad de los datos utilizados para entrenar y probar los modelos de AI y ML; los datos deben ser representativos de las condiciones del mundo real y deben estar libres de errores y sesgos);
- Estabilidad algorítmica (es decir, para garantizar que los modelos de AI y ML sean estables y no produzcan resultados significativamente diferentes cuando se entrenan o prueban en diferentes conjuntos de datos);
- Desempeño del modelo (es decir, se debe realizar una evaluación del desempeño de los modelos AI y ML para garantizar que sean precisos y confiables);
- Explicabilidad (es decir, para comprender y documentar la lógica que dirige el proceso de toma de decisiones de AI y ML);
- Documentación y mantenimiento de registros (es decir, mantenimiento de registros y documentación actualizados relacionados con la validación).
Para satisfacer estos requisitos, se requiere un proceso de Validación, que demuestre el cumplimiento de los requisitos reglamentarios y mantenga la integridad y precisión de cualquier modelo de AI o ML a lo largo del tiempo.
Sobre la validación de sistemas AI/ML
Con base en las regulaciones más recientes que se han publicado sobre la Validación de AI/ML, el Centro de Competencia de Tecnologías Avanzadas de PQE desarrolló una estrategia efectiva basada en el riesgo para alcanzar el nivel de cumplimiento requerido:
- ASME V&V 40-2018
- GAMP 5v2
- ISO_IEC_38507_2022(en) - Gobernanza de TI - Implicaciones AI
- ISO_IEC_TS_4213_2022(en) - Evaluación del rendimiento del clasificador ML
Integrando el contenido de las directrices mencionadas anteriormente con el nuevo enfoque Computer Software Assurance (CSA) y con la metodología Agile Development, los expertos del grupo PQE han desarrollado un marco dedicado para garantizar un nivel aceptable de credibilidad de los algoritmos a validar.
Figura 1 Esquema de enfoque CSA
Figura 2 Metodología ágil (Agile Development)
Figura 3 Ciclo de vida de validación del modelo
Las Actividades de Validación a realizar sobre un Modelo IA/ML incluirán siempre las siguientes actividades:
- Realización de la Evaluación de Riesgos de Modelo;
- Creación del Plan de Validación;
- Realización de las actividades de validación, incluidas las pruebas;
- Creación del Informe de Validación;
- Aplicar la Gestión del Cambio;
- Realización de Evaluaciones Continuas para mantener el estado validado del modelo, hasta que se decida su baja.
Como ya se mencionó anteriormente, el proceso de Validación también debe basarse en el enfoque CSA para reducir el esfuerzo previsto, dando más espacio a la fase de pensamiento crítico y las tareas de aseguramiento, optimizando las actividades de prueba y reduciendo la documentación.
En particular, el núcleo del proceso es la determinación del riesgo, lo que lleva a lograr un equilibrio en las actividades de validación, garantizando un adecuado nivel de aceptación regulatoria y una cantidad razonable de documentación a crear y mantener.
Paralelamente, se necesita un proceso de validación de datos para cumplir con todos los requisitos de calidad e integridad de datos.
Figura 4 Ciclo de vida y validación de datos integrados con el ciclo de vida de mantenimiento del modelo
En particular, no es posible validar un algoritmo IA/ML sin cuidar el formato de los datos y del proceso de ingeniería de datos en general.
Conclusiones
En resumen, la validación BPx de los sistemas que abarcan modelos/algoritmos de IA/ML es un paso fundamental para garantizar la calidad y la seguridad de los productos regulados. Es esencial tener en cuenta factores como la calidad de los datos, la estabilidad algorítmica, el rendimiento del modelo, la explicabilidad del modelo y la documentación con el fin de garantizar la fiabilidad y eficacia de estos modelos.
El equipo de Tecnologías Avanzadas de PQE desarrolló una estrategia sólida para alcanzar el cumplimiento, combinando los principales hitos de validación con los principios de CSA y de Agile Methodologies, lo que optimizará las actividades, equilibrando la cantidad de documentación a producir y obteniendo por otro lado un nivel apropiado de aceptabilidad regulatoria, también teniendo en cuenta los flujos de trabajo de limpieza de datos e ingeniería de datos, que tienen un fuerte impacto en la eficacia y el mantenimiento del modelo.
