Непрерывное тестирование систем, используя самые новые инструменты, доступные на рынке
Зачем проверять системы AI/ML GxP?
Обеспечение приемлемого уровня достоверности алгоритмов, управляемых данными, имеет первостепенное значение из-за присущей технологии низкой прозрачности. Следовательно, чтобы гарантировать адекватный уровень качества и снизить высокий риск получения неправильных или ненадежных результатов, регулирующие органы, такие как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) и Европейское агентство по лекарственным средствам (EMA), установили высокие требования к для обеспечения безопасности и эффективности продуктов и услуг на основе ИИ.
Упомянутые выше требования в основном касаются:
- Качество данных (т. е. качество данных, используемых для обучения и тестирования моделей ИИ и МО; данные должны быть репрезентативными для реальных условий и не должны содержать ошибок и погрешностей);
- Алгоритмическая стабильность (т. е. гарантировать, что модели AI и ML стабильны и не дают существенно различающихся результатов при обучении или тестировании на разных наборах данных);
- Производительность модели (необходимо провести оценку производительности моделей AI и ML, чтобы убедиться, что они точны и надежны);
- Объяснимость (т. е. понять и задокументировать логику, которая ведет к процессу принятия решений ИИ и МО);
- Документация и ведение записей (т. е. ведение обновленных записей и документации, связанной с валидацией).
Чтобы удовлетворить эти требования, необходим процесс валидации, демонстрирующий соответствие нормативным требованиям и поддерживающий целостность и точность любой модели AI или ML с течением времени.
О валидации систем AI/ML
Основываясь на самых последних правилах, которые были выпущены в отношении валидации AI/ML, Центр компетенций по передовым технологиям PQE разработал эффективную стратегию, основанную на оценке рисков, для достижения требуемого уровня соответствия:
- ASME V&V 40-2018
- ГАМП 5 на 2
- ISO_IEC_38507_2022( ru ) — Управление ИТ — последствия ИИ
- ISO_IEC_TS_4213_2022 ( en ) — Оценка производительности классификатора ML
Объединив содержание вышеупомянутых руководств с новым подходом Computer Software Assurance (CSA) и методологией Agile Development, эксперты группы PQE разработали специальную структуру, гарантирующую приемлемый уровень достоверности проверяемых алгоритмов.
Рис. 1. Схема подхода CSA
Рис. 2 Гибкая методология (Agile)
Рис. 3. Жизненный цикл проверки модели
Действия по валидации, которые должны выполняться в модели AI/ML, всегда должны включать следующие действия:
- Выполнение оценки рисков модели;
- Создание плана проверки;
- Выполнение мероприятий по валидации, включая тестирование;
- Создание отчета о проверке;
- Применение управления изменениями;
- Выполнение текущих оценок для поддержания подтвержденного статуса модели до тех пор, пока не будет принято решение об ее отклонении.
Как уже упоминалось, процесс валидации также должен опираться на подход CSA, чтобы уменьшить предполагаемые усилия, предоставить больше места для фазы критического мышления и задач обеспечения, оптимизации деятельности по тестированию и сокращения документации.
В частности, ядром процесса является определение риска. Это приводит к достижению баланса в деятельности по валидации, гарантируя надлежащий уровень приемлемости со стороны регулирующих органов и разумный объем документации, которую необходимо создать и поддерживать.
Параллельно необходим процесс проверки данных, чтобы выполнить все требования к целостности и качеству данных.
Рис. 4. Жизненный цикл данных , интегрированный с жизненным циклом модели
В частности, невозможно проверить алгоритм AI/ML, не позаботившись о формате данных и о процессе обработки данных в целом.
Таким образом, проверка систем GxP, включающих модели/алгоритмы AI/ML, является важным шагом в обеспечении качества и безопасности регулируемых продуктов. Важно учитывать такие факторы, как качество данных, алгоритмическую стабильность, производительность модели, объяснимость модели и документации, чтобы обеспечить надежность и эффективность этих моделей.
Команда PQE Advanced Technologies разработала надежную стратегию для достижения соответствия, сочетая основные этапы проверки с принципами CSA и Agile Methodologies. Это оптимизирует деятельность, уравновешивая объем документации, которая должна быть подготовлена, и получая, с другой стороны, надлежащий уровень нормативного признания, а также принимая во внимание рабочие процессы очистки данных и обработки данных, которые сильно влияют на эффективность и обслуживание модели.