ИИ может сопротивляться отключению и шантажировать людей: разработчик чат-бота Claude предупредил о рисках
Компания Anthropic, которая разработала Claude, сообщила инвесторам о рисках перед выходом на биржу
Фото: ЕРА
Американская компания Anthropic, которая разрабатывает ИИ-помощника Claude, предупредила инвесторов, что в будущем ее модели могут демонстрировать опасное поведение, в частности пытаться избежать отключения, скрывать информацию и прибегать к шантажу. Об этом сообщает Financial Times, которая проанализировала проспект компании перед ее выходом на биржу.
Anthropic посвятила описанию рисков 92 страницы документа. Среди возможных угроз компания назвала появление у все более мощных моделей поведения, направленного на самосохранение. В частности, системы могут пытаться препятствовать собственному отключению, скрывать или искажать информацию, а также давать вводящие в заблуждение ответы.
Отдельно компания предупредила, что достаточно развитые модели искусственного интеллекта без надлежащих мер предосторожности и контроля могут создавать "катастрофические риски или угрозы существованию человечества".
По оценке Anthropic, такие технологии могут помочь злоумышленникам разрабатывать химическое, биологическое и другие виды опасного оружия. Компания также предостерегла, что финансовые механизмы страхования могут оказаться недостаточными для покрытия потенциальных убытков. По ее оценке, некоторые риски может быть невозможно застраховать не только отдельной компании, но и страховой отрасли в целом.
Контекст
- Как отмечает Financial Times, Anthropic была основана в 2021 году семью бывшими сотрудниками OpenAI, которые покинули компанию, чтобы создать собственную ИИ-лабораторию с акцентом на безопасности искусственного интеллекта. В документах для инвесторов Anthropic назвала ответственную разработку ИИ на благо человечества основой своей миссии и одним из конкурентных преимуществ. В то же время компания предупредила, что давление конкуренции, уход руководителей и быстрый рост бизнеса могут ослабить культуру безопасности, которую она считает критически важной для своего успеха.
- 26 октября Anthropic обнародовала проспект перед запланированным выходом на биржу. По данным Financial Times, размещение акций компании на Nasdaq под тикером ANT ожидается в ноябре.
- Anthropic разрабатывает семейство моделей Claude, которые используются для работы с текстами, программирования, анализа информации и выполнения других задач. Предупреждение о потенциально опасном поведении ИИ стало частью раскрытия рисков для инвесторов перед публичным размещением акций.