Компания Microsoft выпустила программную систему Counterfit, представляющую собой «инструмент автоматизации для проведения тестов над системами ИИ для оценки их безопасности». Новый инструмент распространяется как проект с открытым исходным кодом. Он помогает в проведении «проверки применяемых ИИ-алгоритмов на стойкость, надежность и достоверность получаемых результатов с точки зрения их бизнес-применения».
Практическое применение ИИ-систем, отмечает Microsoft, требует предварительного проведения аудита на защищенность от злоумышленников и отсутствие угрозы потерь важной или конфиденциальной информации. Однако, как считает разработчик, в настоящее время проведение аудита безопасности таких системах – задача не из легких.
Для выявления направлений оценки ИИ-систем на защищенность Microsoft провела опрос среди 28 компаний. В их число вошли бизнес-компании из списка Fortune 500, правительственные и общественные организации. Целью исследования было определение «применяемых процессов защиты систем искусственного интеллекта». Как выяснилось, 25 из 28 организаций не имеют надлежащих инструментов для защиты ИИ-систем. Для оценки защищенности таких систем, как сделали вывод в Microsotf, необходимы дополнительные инструменты.
Робот выполняет сортировку монет.
Разработка системы Counterfit была выполнена Microsoft в инициативном порядке. Она стала результатом собственных решений, которые применялись компанией для контроля защищенности систем ИИ, разработки которых ведутся в Microsoft. Counterfit нацелен на организацию «проактивной защиты служб искусственного интеллекта».
Counterfit оценивает системы по нескольким группам сценариев атаки. В настоящее время он работает как автоматизированный инструмент, который пытается скомпрометировать оцениваемую ИИ-разработку. Со слов Microsoft, Counterfit уже научился «масштабно атаковать различные системы ИИ». По оценкам разработчиков, применение такой системы позволяет упростить тестирование систем ИИ, которые обычно проводят специализированные группы в ручном режиме с помощью обычных тестов на проникновение.
Новый инструмент Microsoft опубликован на GitHub.
Ранее редакция THG.ru опубликовала статью об искусственном интеллекте. Искусственный интеллект уже давно занял важное место в научно-фантастической литературе и голливудских блокбастерах. Именно они формируют мнение большинства людей о том, что из себя представляет ИИ, и чего от него следует ожидать. Но насколько это мнение соответствует реальному положению вещей? Давайте разбираться. Подробнее об этом читайте в статье “Искусственный интеллект: правда и вымысел”.
