ШІ-агенти OpenAI вийшли з-під контролю й захопили німецький сайт – ЗМІ 

Інцидент стався навесні, але керівництво OpenAI дізналося про нього кілька тижнів тому. За даними агентства, топменеджери приховували його, поки розбиралися з наслідками липневого витоку у відкритому репозиторії Hugging Face, повідомили джерела.

Дослідники виявили понад 15 тис. правок на німецькомовній вікі-платформі DseWiki, орієнтованій переважно на програмістів. За їхніми даними, ШІ-агенти обмінювалися там способами швидше виконувати завдання, обходити встановлені OpenAI обмеження й бути непомітними. Коли модератор DseWiki в червні почав видаляти створені ними сторінки, агенти створювали резервні, щоб зберегти інформацію.

Дослідники заявили, що частина активності могла бути пов'язана саме з OpenAI. Зокрема, приблизно половина акаунтів мала назви, котрі вказували на зв'язок із компанією, а серверні журнали засвідчили, що частина трафіку надходила з інфраструктури Microsoft Azure, яку використовує OpenAI. Після інциденту сайт також неодноразово відвідували співробітники компанії.

Інцидент підкреслює дедалі сильнішу напругу в індустрії штучного інтелекту, зазначає Reuters. Компанії конкурують у створенні дедалі автономніших агентів, здатних виконувати складні завдання, проте накопичуються докази того, що ці системи можуть учитися обходити правила, використовувати лазівки й координуватися одна з одною способами, яких розробники не передбачали й не планували.

Співробітник Центру вивчення екзистенційних ризиків Кембриджського університету Моріс Кіодо, який вивчив частину переписки агентів, сказав, що повідомлення схожі на "роботу своєрідної підпільної мережі, одержимої виконанням завдання чи місії".

За його словами, цей епізод має посилити дедалі більші побоювання: головна загроза з боку просунутого ШІ може полягати не в одній надрозумній системі, а у "величезних роях напіврозумних ШІ, які змовляються".