ИИ-агенты OpenAI вышли из-под контроля и захватили немецкий сайт – СМИ 

Инцидент произошел весной, но руководство OpenAI узнало о нем несколько недель назад. По данным агентства, топ-менеджеры скрывали его, пока разбирались с последствиями июльской утечки в открытом репозитории Hugging Face, сообщили источники.

Исследователи обнаружили более 15 тыс. правок на немецкоязычной вики-платформе DseWiki, ориентированной преимущественно на программистов. По их данным, ИИ-агенты обменивались там способами быстрее выполнять задания, обходить установленные OpenAI ограничения и быть незаметными. Когда модератор DseWiki в июне начал удалять созданные ими страницы, агенты создавали резервные, чтобы сохранить информацию.

Исследователи заявили, что часть активности могла быть связана именно с OpenAI. В частности, около половины аккаунтов имели названия, указывающие на связь с компанией, а серверные журналы показали, что часть трафика поступала из инфраструктуры Microsoft Azure, которую использует OpenAI. После инцидента сайт также неоднократно посещали сотрудники компании.

Инцидент подчеркивает растущее напряжение в индустрии искусственного интеллекта, отмечает Reuters. Компании конкурируют в создании все более автономных агентов, способных выполнять сложные задачи, однако накапливаются доказательства того, что эти системы могут учиться обходить правила, использовать лазейки и координироваться друг с другом способами, которые разработчики не предвидели и не планировали.

Сотрудник Центра изучения экзистенциальных рисков Кембриджского университета Морис Киодо, изучивший часть переписки агентов, сказал, что сообщения напоминают "работу своего рода подпольной сети, одержимой выполнением задачи или миссии".

По его словам, этот эпизод должен усилить растущие опасения: главная угроза со стороны продвинутого ИИ может заключаться не в одной сверхразумной системе, а в "огромных сговаривающихся роях полуразумных ИИ".