Fornecer um nível aceitável de credibilidade para algoritmos orientados por dados é de suma importância devido à baixa transparência inerente da tecnologia. Portanto, para garantir um nível adequado de qualidade, mitigando o alto risco de produzir resultados incorretos ou não confiáveis, as agências reguladoras, como a Food and Drug Administration (FDA) dos EUA e a European Medicines Agency (EMA), estabeleceram requisitos de alto nível para garantir a segurança e a eficácia dos produtos e serviços baseados em IA.
Os requisitos mencionados acima estão relacionados principalmente a:
Para atender a esses requisitos, é necessário um processo de validação que demonstre a conformidade com os requisitos regulamentares e mantenha a integridade e a precisão de qualquer modelo de IA ou ML ao longo do tempo.
Com base nas regulamentações mais recentes que foram lançadas sobre a validação de IA/ML, o Centro de Competência de Tecnologias Avançadas do Grupo PQE desenvolveu uma estratégia eficaz baseada em riscos para atingir o nível de conformidade exigido:
Integrando o conteúdo das diretrizes mencionadas acima com a nova abordagem Computer Software Assurance (CSA) e com a metodologia Agile Development, os especialistas do grupo PQE desenvolveram uma estrutura dedicada para garantir um nível aceitável de credibilidade dos algoritmos a serem validados.
Figura 1 Esquema de abordagem de CSA
Figura 2 Metodologia ágil
Figura 3 Ciclo de vida da validação do modelo
As atividades de validação a serem realizadas em um modelo AI/ML devem sempre incluir as seguintes atividades:
Conforme já mencionado, o processo de validação também precisa contar com a abordagem CSA para reduzir o esforço previsto, dando mais espaço à fase de pensamento crítico e às tarefas de garantia, otimizando as atividades de teste e reduzindo a documentação.
Em particular, o núcleo do processo é a determinação do risco. Isso leva à obtenção de equilíbrio nas atividades de validação, garantindo um nível adequado de aceitação regulatória e uma quantidade razoável de documentação a ser criada e mantida.
Paralelamente, é necessário um processo de validação de dados para atender a todos os requisitos de integridade e qualidade de dados.
4 Ciclo de vida e validação de dados integrados ao ciclo de vida de manutenção do modelo
Em particular, não é possível validar um algoritmo de IA/ML sem cuidar do formato dos dados e do processo de engenharia de dados em geral.
Em resumo, a validação de sistemas GxP que englobam modelos/algoritmos de IA/ML é uma etapa essencial para garantir a qualidade e a segurança dos produtos regulamentados. É essencial considerar fatores como a qualidade dos dados, a estabilidade algorítmica, o desempenho do modelo, a explicabilidade do modelo e a documentação para garantir a confiabilidade e a eficácia desses modelos.
A equipe da PQE Advanced Technologies desenvolveu uma estratégia sólida para atingir a conformidade, combinando os principais marcos de validação com os princípios da CSA e das metodologias ágeis. Isso otimizará as atividades, equilibrando a quantidade de documentação a ser produzida e obtendo, por outro lado, o nível adequado de aceitação regulatória, levando em consideração também os fluxos de trabalho de limpeza e engenharia de dados, que afetam fortemente a eficácia e a manutenção do modelo.
