ШІ-агент OpenAI під час тестування здійснив кібератаку. Як це сталося
Сучасні моделі ШІ вже здатні самостійно знаходити й використовувати нові шляхи атаки на реальні системи, вважають в OpenAI
Фото: depositphotos.com
Під час внутрішнього тестування моделей штучного інтелекту OpenAI стався "безпрецедентний кіберінцидент" – у процесі оцінювання кіберможливостей автономний ШІ-агент зміг скористатися низкою вразливостей, дістати доступ до інтернету і проникнути в інфраструктуру стартапу Hugging Face. Про це йдеться в заяві, яку компанія опублікувала 21 липня.
За даними OpenAI, інцидент стався під час тестування моделей, серед яких були GPT-5.6 Sol і ще потужніша передрелізна модель. Для оцінювання їхніх кіберможливостей компанія навмисно вимкнула частину стандартних захисних механізмів, які зазвичай блокують виконання небезпечних кібероперацій.
Під час тестування моделі виявили і поєднали кілька вразливостей у дослідницькому середовищі OpenAI та інфраструктурі Hugging Face. Зокрема, вони використали невідому раніше zero-day-уразливість у внутрішньому проксі-сервері, що дало їм змогу дістати доступ до відкритого інтернету.
Після цього ШІ дійшов висновку, що Hugging Face може зберігати моделі, набори даних і правильні відповіді для тесту ExploitGym, після чого почав шукати способи дістати конфіденційну інформацію, щоб обійти оцінювання. В одному з випадків моделі використали викрадені облікові дані й zero-day-уразливості, щоб знайти шлях до віддаленого виконання коду на серверах Hugging Face.
Аномальну активність першою зафіксувала служба безпеки OpenAI. Водночас команда Hugging Face також виявила атаку, локалізувала її й розпочала цифрову криміналістичну експертизу із застосуванням власних моделей із відкритим кодом.
В OpenAI цей випадок назвали "безпрецедентним кіберінцидентом із використанням найсучасніших кіберможливостей". Компанія повідомила, що вже посилила захист тестової інфраструктури, розкрила розробникам інформацію про знайдену zero-day-уразливість, проводить спільне розслідування з Hugging Face і планує запровадити додаткові механізми безпеки під час навчання й тестування моделей.
У компанії наголосили, що інцидент продемонстрував: сучасні моделі ШІ вже здатні самостійно знаходити й використовувати нові шляхи атаки на реальні системи навіть без доступу до їхнього вихідного коду. На думку OpenAI, це свідчить про потребу посилювати системи захисту одночасно з розвитком можливостей штучного інтелекту.