Угроза уничтожения человечества еще не была такой серьезной со времени создания атомной бомбы 

Еще совсем недавно разговоры о том, что искусственный интеллект может представлять угрозу для существования человечества, были на маргинесе и звучали примерно как сюжет фантастического фильма. Сегодня они оказались на первых полосах самых влиятельных медиа мира.

Агентство Reuters описало 10 дней, которые, по его мнению, изменили само направление дискуссии об ИИ. Исследователи ведущих ИИ-компаний публично заговорили о возможной потере контроля над все более мощными системами, а вопрос безопасности перестал быть темой нескольких университетских лабораторий и узкого круга футурологов. Появились сообщения о том, что рои агентов ИИ вступают в сговор, проникают в компьютерные системы и обходят средства защиты. Часть исследователей и специалистов по безопасности ИИ утверждает, что человечество не сталкивалось настолько серьезно с вопросом собственного уничтожения со времени создания атомной бомбы более 80 лет назад.

Американская Washington Post очень точно зафиксировала это изменение: люди, которых еще несколько лет назад воспринимали почти как маргинальных "ИИ-думеров", теперь работают в ведущих лабораториях и предупреждают о рисках, которые оценивают уже не как чисто теоретические.

Британская The Guardian дала слово сразу нескольким экспертам, но картина получилась далеко не однозначной. Одни считают сценарии потери контроля над сверхмощным ИИ реальной угрозой, другие подчеркивают, что такие прогнозы пока спекулятивны и индустрия сама может быть заинтересована в драматизации рисков. С таким мнением соглашается бывший конгрессмен-республиканец Адам Кинзингер, который, хотя и признает риски ИИ для человечества, считает, что крупные ИИ-компании одновременно заговорили об ограничениях и регулировании ИИ для закрепления собственного преимущества в динамичном секторе. Газета New York Times также вынесла дискуссию о рисках и регулировании ИИ в сферу большой политики. В свою очередь, профессор Беркли Стюарт Рассел в колонке для The Observer пишет, что угрозу ИИ слишком долго отвергали именно как science fiction.

Мы пока не можем определить, кто в этом споре прав больше. Впрочем, важнее другое. Даже если вероятность наихудшего сценария для человечества невелика, речь идет о технологии, возможности которой развиваются чрезвычайно быстро. Следовательно, обществу нужны люди, способные понимать эти системы, проверять их и, когда нужно, говорить им "нет".

И вот здесь неожиданно центральной темой становится образование.

Мы обычно обсуждаем ИИ в университетах и школах с очень практической точки зрения: разрешать ли ChatGPT на экзаменах, как проверять студенческие работы, может ли ИИ-агент заменить репетитора. Но настоящий вопрос гораздо шире: кто будет контролировать высокоразвитые системы, если люди постепенно утратят способность самостоятельно проверять их выводы?

Исследователи, чья работа представлена на платформе Stanford SCALE, уже предупреждают об опасности "когнитивной разгрузки" – ситуации, когда все большую часть интеллектуальной работы мы передаем машине. Результатом может стать ослабление критического мышления, интеллектуальной автономии и способности человека самостоятельно принимать решения и действовать. Это и есть связующее звено между образованием и широкой дискуссией о безопасности ИИ.

В июне OECD и Европейская комиссия обнародовали Рамочную модель ИИ-грамотности для начального и среднего образования. Здесь грамотность в сфере ИИ означает понимание принципов работы систем, критическую оценку их результатов и способность осознанно решать, когда и как ими пользоваться.

Следовательно, старая образовательная формула – "научить пользоваться технологией" – больше не будет работать. Новая формула должна звучать иначе: пользоваться, подвергать сомнению, проверять и знать, какие решения не стоит делегировать машине.

Интересная формула директора ОЕСР по вопросам образования Андреаса Шляйхера: ученики должны научиться "думать, прежде чем делать промпт". В своей статье о безопасных ИИ-системах в образовании он подчеркивает: "ИИ должен давать ответ в качестве предложения, а не истины, и помогать профессиональному суждению учителя, а не заменять его. Если машина начинает сама принимать важные образовательные решения, мы уже не просто автоматизируем – мы отказываемся от собственной ответственности".

Представим себе самую простую ситуацию. Преподаватель просит ИИ порекомендовать оценку студенту. Сначала он внимательно ее проверяет. Затем проверяет поверхностно. Еще через несколько лет просто нажимает "подтвердить". Формально решение по-прежнему принимает человек. Фактически – алгоритм. То же самое может происходить далеко за пределами университета – в различных сферах жизни и управления.

Есть и другая опасность. ИИ будет становиться все лучше в убеждении: будет создавать аргументы, персонализировать сообщения, имитировать экспертность. Поэтому критическое мышление теперь превращается из академической добродетели в элемент когнитивной безопасности общества.

Человек, который не умеет проверить источник, оценить неопределенность, увидеть логическую ошибку или отличить убедительный текст от доказательства, оказывается в очень неравных условиях перед системой, которая знает, как говорить именно с ним.

Интересно, что практически о том же сейчас говорит и ЮНЕСКО. В сентябре организация начала глобальную консультацию об образовании в эпоху ИИ, поставив во главу угла вопрос: что нужно, чтобы сама система образования сохраняла субъектность и способность – определяла, как использовать ИИ, а не позволяла ИИ постепенно определять, каким должно быть образование?

Учитывая все обсужденное, сегодня одна из, возможно, самых важных ролей университетов – это подготовка людей, которые через определенное количество лет будут принимать решения об использовании и контроле самых мощных ИИ-систем.

Это будут не только программисты. Это биологи, киберспециалисты, военные, государственные служащие, политики, журналисты, психологи и менеджеры. Ведь ИИ проникнет во все сферы человеческой жизни.

Поэтому университет будущего – это еще и часть инфраструктуры безопасности ИИ. Особенно на стыке ИИ и биологии, кибербезопасности, международной безопасности, психологии, медиа, государственного управления, философии и этики. Как утверждает один из ученых, академическая свобода, независимая оценка и открытая наука являются важными элементами анализа и снижения рисков ИИ.

Возможно, дискуссия о будущем образования на самом деле является частью гораздо более широкой дискуссии – о будущем человечества рядом с машинами, которые могут стать умнее нас. И одной из важнейших целей образования должно быть воспитание людей, способных осуществлять контроль над ИИ.

Источник: "ГОРДОН"