ИИ-агент OpenAI во время тестирования совершил кибератаку. Как это произошло
Современные модели ИИ уже способны самостоятельно находить и использовать новые пути атаки на реальные системы, считают в OpenAI
Фото: depositphotos.com
Во время внутреннего тестирования моделей искусственного интеллекта OpenAI произошел "беспрецедентный киберинцидент" – в процессе оценки кибервозможностей автономный ИИ-агент смог воспользоваться рядом уязвимостей, получить доступ к интернету и проникнуть в инфраструктуру стартапа Hugging Face. Об этом говорится в заявлении, которое компания опубликовала 21 июля.
По данным OpenAI, инцидент произошел во время тестирования моделей, среди которых были GPT-5.6 Sol и еще более мощная предрелизная модель. Для оценки их кибервозможностей компания намеренно отключила часть стандартных защитных механизмов, которые обычно блокируют выполнение опасных киберопераций.
В ходе тестирования модели обнаружили и объединили несколько уязвимостей в исследовательской среде OpenAI и инфраструктуре Hugging Face. В частности, они использовали неизвестную ранее zero-day-уязвимость во внутреннем прокси-сервере, что позволило им получить доступ к открытому интернету.
После этого ИИ пришел к выводу, что Hugging Face может хранить модели, наборы данных и правильные ответы для теста ExploitGym, после чего начал искать способы получить конфиденциальную информацию, чтобы обойти оценку. В одном из случаев модели использовали похищенные учетные данные и zero-day-уязвимости, чтобы найти путь к удаленному выполнению кода на серверах Hugging Face.
Аномальную активность первой зафиксировала служба безопасности OpenAI. В то же время команда Hugging Face также обнаружила атаку, локализовала ее и приступила к цифровой криминалистической экспертизе с использованием собственных моделей с открытым кодом.
В OpenAI этот случай назвали "беспрецедентным киберинцидентом с использованием самых современных кибервозможностей". Компания сообщила, что уже усилила защиту тестовой инфраструктуры, раскрыла разработчикам информацию об обнаруженной zero-day-уязвимости, проводит совместное расследование с Hugging Face и планирует внедрить дополнительные механизмы безопасности при обучении и тестировании моделей.
В компании подчеркнули, что инцидент продемонстрировал: современные модели ИИ уже способны самостоятельно находить и использовать новые пути атаки на реальные системы даже без доступа к их исходному коду. По мнению OpenAI, это свидетельствует о необходимости усиливать системы защиты одновременно с развитием возможностей искусственного интеллекта.
Как читать ”ГОРДОН” на временно оккупированных территориях
Читать
