ШІ може чинити опір вимкненню й шантажувати людей: розробник чат-бота Claude попередив про ризики
Компанія Anthropic, яка розробила Claude, повідомила інвесторів про ризики перед виходом на біржу
Фото: ЕРА
Американська компанія Anthropic, яка розробляє ШІ-помічника Claude, попередила інвесторів, що в майбутньому її моделі можуть демонструвати небезпечну поведінку, зокрема намагатися уникнути вимкнення, приховувати інформацію і вдаватися до шантажу. Про це повідомляє Financial Times, яка проаналізувала проспект компанії перед її виходом на біржу.
Anthropic присвятила опису ризиків 92 сторінки документа. Серед імовірних загроз компанія назвала появу в дедалі потужніших моделей поведінки, спрямованої на самозбереження. Зокрема, системи можуть намагатися перешкоджати власному вимкненню, приховувати або спотворювати інформацію, а також давати оманливі відповіді.
Окремо компанія попередила, що досить розвинені моделі штучного інтелекту без належних запобіжників і контролю можуть створювати "катастрофічні ризики або загрози існуванню людства".
За оцінкою Anthropic, такі технології можуть допомогти зловмисникам розробляти хімічну, біологічну й інші види небезпечної зброї. Компанія також застерегла, що фінансові механізми страхування можуть виявитися недостатніми для покриття потенційних збитків. За її оцінкою, деякі ризики може бути неможливо застрахувати не лише окремій компанії, а й страховій галузі загалом.
Контекст
- Як зазначає Financial Times, Anthropic заснували 2021 року семеро колишніх співробітників OpenAI, які покинули компанію, щоб створити власну ШІ-лабораторію з акцентом на безпеці штучного інтелекту. У документах для інвесторів Anthropic назвала відповідальне розроблення ШІ на користь людства основою своєї місії та однією з конкурентних переваг. Водночас компанія попередила, що тиск конкуренції, звільнення керівників і швидке зростання бізнесу можуть послабити культуру безпеки, яку вона вважає критично важливою для свого успіху.
- 26 жовтня Anthropic оприлюднила проспект перед запланованим виходом на біржу. За даними Financial Times, розміщення акцій компанії на Nasdaq під тикером ANT планують у листопаді.
- Anthropic розробляє сімейство моделей Claude, які використовують для роботи з текстами, програмування, аналізу інформації та виконання інших завдань. Попередження про потенційно небезпечну поведінку ШІ стало частиною розкриття ризиків для інвесторів перед публічним розміщенням акцій.