Tech Review 
Введение
За последние годы предупреждения об опасности искусственного интеллекта перестали быть уделом фантастов и одиночек-алармистов. Теперь о «риске исчезновения» и «экзистенциальной угрозе» говорят люди, которые сами эти системы и создают. Руководители ведущих лабораторий, авторы учебников по машинному обучению и лауреаты научных премий подписывают коллективные заявления о том, что ИИ сравним по масштабу угрозы с пандемией и ядерной войной. Возникает резонный вопрос: это искренняя тревога или новая форма рыночной и политической игры?
Детали
Публичная волна предостережений началась весной 2023 года. Центр безопасности ИИ (Center for AI Safety, CAIS) опубликовал короткое заявление из одной фразы: «Снижение риска исчезновения человечества от ИИ должно стать глобальным приоритетом наряду с другими общественными рисками, такими как пандемии и ядерная война». Под ним подписались сотни исследователей и руководителей, включая Джеффри Хинтона, Яна Лекуна, Сэма Альтмана и Демиса Хассабиса. Тогда же Институт будущего человечества (Future of Humanity Institute) при Оксфордском университете, основанный философом Ником Бостромом, уже много лет продвигал идею «выравнивания» ИИ с человеческими ценностями.
Параллельно с заявлениями шли конкретные шаги. В США в 2023 году вышел указ президента об ИИ, требующий от разработчиков крупных моделей делиться результатами тестов на безопасность с государством. В 2024 году вступил в силу закон ЕС об искусственном интеллекте (AI Act) — первый в мире комплексный нормативный акт, который делит системы по уровню риска и запрещает отдельные практики, например социальный скоринг. В Великобритании появился Институт безопасности ИИ, а в США — аналогичный институт при Национальном институте стандартов и технологий (NIST). Крупные лаборатории, включая OpenAI, Anthropic и Google DeepMind, добровольно взяли на себя обязательства публиковать карты рисков и ограничивать разработку моделей, способных, по их оценке, нанести «серьёзный вред».
При этом сам термин «экзистенциальный риск» остаётся размытым. В документах он соседствует с вполне приземлёнными угрозами: дезинформацией, предвзятостью алгоритмов, ростом безработицы, концентрацией власти у нескольких компаний и использованием ИИ в кибероружии. Именно это смешение уровней — от потери рабочих мест до гибели цивилизации — вызывает больше всего споров.
Анализ
У нынешней волны предупреждений есть несколько слоёв, и их полезно разделять.
Первый слой — научный. Исследователи, работающие над выравниванием, действительно указывают на техническую проблему: мы не умеем надёжно задавать цели системам, которые становятся сложнее и автономнее. Если модель оптимизирует неверно понятую цель, последствия могут быть непредсказуемыми. Это не мистика, а вопрос инженерии и теории управления.
Второй слой — регуляторный. Разговоры о катастрофе — эффективный аргумент в пользу жёсткого регулирования. Компании, которые первыми поддержали осторожные формулировки, одновременно лоббируют правила, которые сложнее выполнить небольшим конкурентам. Требования к аудиту, отчётности и вычислительным мощностям создают барьер входа и закрепляют позиции лидеров рынка.
Третий слой — репутационный и рыночный. Публичная тревога повышает статус её авторов: они выглядят ответственными хранителями технологии, а не продавцами продукта. Одновременно предупреждения подогревают интерес инвесторов и внимание прессы, что в условиях огромных капитальных затрат на вычисления немаловажно.
Четвёртый слой — политический. Тема ИИ стала удобной площадкой для международных переговоров: она позволяет говорить о стратегической стабильности, не повторяя ядерную повестку. При этом реальные механизмы контроля, аналогичные инспекциям МАГАТЭ, пока не созданы, а конкуренция между США и Китаем делает их маловероятными в ближайшее время.
Мнение
Разумная позиция здесь — не отметать предупреждения и не принимать их на веру целиком. Опасность существует, но она неоднородна: часть рисков уже реализуется — манипулятивные рекомендательные алгоритмы, дипфейки, автоматизация найма и кредитования. Другая часть — гипотетическая и связана с системами, которых пока нет.
Полезно задавать неудобные вопросы к каждому громкому заявлению: какие конкретные механизмы предлагаются, кто их проверяет, не превращаются ли они в способ защиты от конкурентов. Тревога без инженерных решений и прозрачных процедур остаётся риторикой. И наоборот: скучная работа над интерпретируемостью моделей, стресс-тестами и стандартами отчётности приносит больше пользы, чем очередное открытое письмо.
Итог
Новые предупреждения о катастрофических рисках ИИ — это сплав реальных технических проблем, регуляторной борьбы, рыночных интересов и геополитики. Игнорировать их нельзя, но и воспринимать как чистую науку — наивно. Ключевой вопрос не в том, насколько громко звучит тревога, а в том, какие проверяемые механизмы безопасности появляются вслед за ней.
FAQ
Правда ли, что ведущие разработчики ИИ сами верят в угрозу исчезновения человечества?
Часть исследователей относится к этому серьёзно и занимается проблемой выравнивания. Другие используют формулировки осторожнее, говоря о конкретных рисках: дезинформации, кибербезопасности, концентрации власти. Единой позиции у индустрии нет.
Кто выигрывает от разговоров о катастрофе?
Крупные лаборатории получают репутацию ответственных игроков и поддержку жёстких правил, которые сложнее выполнить небольшим компаниям. Регуляторы получают политический вес, а инвесторы — повод для повышенного внимания к сектору.
Что уже регулируется на практике?
Закон ЕС об ИИ вводит градацию рисков и запреты на отдельные практики. В США действуют указы и институты безопасности при NIST, в Великобритании — профильный институт. Крупные компании добровольно публикуют отчёты о рисках своих моделей.