ГОСТ по безопасной разработке ИИ может появиться в начале следующего года

18 сентября на заседании НТС НИИАС Денис Турдаков (ИСП РАН) заявил о необходимости учитывать не только качество прогнозов ИИ, но и защищённость от вариаций данных, искажений, сбоев и атак. Стандартизация должна заложить фундаментальные принципы, затем появятся отраслевые требования.

Он выделил два пути построения ИИ: экспертные правила и машинное обучение. Во втором случае качество зависит от данных. Главная угроза — дрейф данных: модель, хорошая на обучающей выборке, может деградировать при изменении условий. Пример: анализ тональности банковских сообщений в 2015 году — точность всех систем упала ниже 60% из-за сдвигов контекста (например, новых значений слова «санкции»).

Другие риски: систематические погрешности, непрозрачность выводов, враждебные воздействия (целенаправленное искажение входных данных — например, узор на одежде срывает распознавание человека, а подготовленное изображение заблокировало коммерческую систему контроля доступа).

Завершена работа над дополнением к ГОСТу по безопасной разработке ПО для ИИ: добавлены процессы подготовки датасетов и безопасного обучения моделей. Проект получил 937 замечаний, утверждение ожидается к началу следующего года. В будущем общий стандарт нужно расширять отраслевыми требованиями — для распознавания образов и больших языковых моделей потребуются разные оценки рисков и тесты.