| Руководитель: | ИСП РАН |
| Лидер группы: | Падарян Вартан Андроникович |
| Участники группы: |
|
Цели
Выработка согласованных требований к процессам разработки безопасных технологий ИИ. Определение состава мер и средств, обеспечивающих выполнение этих требований.
Задачи
Организационные, в рамках консорциума:
Синхронизация по перечню угроз безопасности ИИ, разработка предложений в части НПА (РГ1);
2. Определение порядка тестирования безопасности технологий ИИ (РГ2).
Методические и технологические:
Состав процессов разработки безопасных технологий ИИ;
Технологии и инструменты разработки (анализа), включая безопасные ML-фреймворки;
Оценка требуемых вычислительных ресурсов для реализации требований безопасной разработки;
Требования к применяемым инструментам.
Ожидаемые результаты
Методические указания по обеспечению безопасной разработки технологий ИИ. Перечень референсных инструментов, обеспечивающих разработку безопасных технологий ИИ. Требования к эталонным датасетам, гарантирующим уровень безопасности предобученных моделей.
ЗАДЕЛ ИСП РАН
Исследовательский центр доверенного искусственного интеллекта
Платформа для разработки доверенных технологий ИИ
- Ядро платформы – собственное решение класса MLOps/MLSecOps
- Доверенные ML-фреймворки PyTorch и TensorFlow
- Быстрое подключение новых инструментов анализа и мониторинга моделей и датасетов
- Интеграция в жизненный цикл новых и существующих систем ИИ
- Платформа обеспечивает инструментальное сопровождение созданных Центром методологий разработки доверенных систем, использующих ИИ
Отчуждаемые инструменты
- Тестирования и защиты моделей машинного обучения от состязательных атак на этапе эксплуатации
- Выявления и устранения предвзятости моделей машинного обучения
- Интерпретации моделей машинного обучения
- Обнаружения аномалий и дрейфа в наборах данных
- Выявления и устранения закладок и вредоносного кода в предобученных моделях машинного обучения
- Защиты от копирования обученных моделей машинного обучения и защиты от извлечения обучающих данных из обученных моделей