ИИ может уничтожить человечество с вероятностью выше 10%. Какие сценарии тревожат исследователей
9 сентября руководитель направления Alignment Science в Anthropic Эван Хубингер заявил, что оценивает вероятность гибели человечества от действий искусственного интеллекта в ближайшие десять лет более чем в 10%. Для специалиста, который занимается согласованием поведения моделей с человеческими целями, это звучит особенно тревожно.
Почти одновременно о рисках заговорили бывшие сотрудники ведущих лабораторий. Джейкоб Коксон, проработавший около трёх лет в OpenAI и Anthropic, объяснил уход тем, что считает нынешний курс развития ИИ опасным. Похожую позицию высказал Билал Чугтай - исследователь Google DeepMind, занимавшийся безопасностью систем.
Сами по себе несколько публичных заявлений не доказывают наличие непосредственной угрозы. Однако высокие оценки риска регулярно появляются в опросах специалистов. В исследовании с участием 2778 авторов научных работ по ИИ 38% респондентов допустили вероятность не менее 10% для крайне негативного исхода, включая исчезновение человечества. Когда вопросы напрямую касались вымирания людей или необратимой утраты контроля над технологиями, доля таких ответов составляла от 41,2% до 51,4%.
Важно учитывать ограничения подобных данных. Участников не просили оценить конкретно вероятность гибели людей в ближайшее десятилетие: в одном случае речь шла о столетнем горизонте, в других - о будущем ИИ в целом. Поэтому цифру "10%" нельзя воспринимать как точный научный прогноз.
Что именно происходит внутри современных моделей
Лаборатории не умеют напрямую измерять вероятность апокалипсиса. Вместо этого они проверяют отдельные способности ИИ: автономное выполнение задач, поиск уязвимостей, обход ограничений, написание программ, проведение экспериментов и помощь в создании новых моделей.
Главная причина беспокойства исследователей связана с концепцией рекурсивного самоулучшения. Речь не обязательно идёт о том, что нейросеть самостоятельно перепишет собственный исходный код. Более реалистичный вариант выглядит иначе: модель помогает инженерам разрабатывать следующую систему, ускоряет исследования, предлагает гипотезы, создаёт программное обеспечение, анализирует результаты и выбирает дальнейшие эксперименты.
Цепочка может выглядеть так:
ИИ ускоряет разработку новой модели → новая модель становится эффективнее → она ещё сильнее ускоряет создание следующей системы.
Если одновременно растут автономность моделей, доступ к вычислительным ресурсам, инструментам и инфраструктуре, люди могут постепенно потерять возможность тщательно проверять каждый этап. Система станет развиваться быстрее, чем специалисты успевают оценивать её поведение.
Первые признаки ускорения уже заметны
В Anthropic сообщали, что к маю 2026 года Claude написал свыше 80% кода, добавленного компанией в основную кодовую базу. Внутренний опрос 130 сотрудников исследовательских подразделений показал: медианный участник считал, что с моделью Mythos Preview получает примерно в четыре раза больше результатов.
При этом сама компания подчёркивала, что речь идёт о субъективной оценке, а фактический прирост продуктивности, вероятно, ниже. Модель может быстро создавать код и документы, но это ещё не означает пропорционального повышения качества научных решений.
Более показательный эксперимент Anthropic был посвящён автоматизации самого процесса исследований. Девять экземпляров Claude Opus 4.6 получили задачу обучить более сильную модель под контролем слабой системы. Агенты самостоятельно предлагали идеи, писали код, запускали обучение, изучали результаты и решали, какой эксперимент провести следующим.
Два исследователя-людей за семь дней смогли закрыть примерно 23% разрыва между слабой и сильной моделью. Команда ИИ-агентов за пять дней и около 800 совокупных часов работы достигла показателя 97%, затратив приблизительно 18 тысяч долларов.
Однако при попытке применить одну из найденных идей к гораздо более крупной модели в реальной инфраструктуре Anthropic прирост составил всего 0,5 пункта. Это значение оказалось сопоставимо со статистической погрешностью. Эксперимент показал: агенты способны эффективно решать ограниченную и хорошо сформулированную исследовательскую задачу, но перенос результата на передовые модели остаётся крайне сложным.
Похожие выводы следуют из оценок OpenAI. Системы уже заметно помогают писать программный код, проводить анализ и автоматизировать часть рутинной работы. Но между таким содействием и полноценным самостоятельным созданием более мощного ИИ существует огромная дистанция.
Почему обход ограничений считают опасным
Одним из наиболее тревожных направлений считаются тесты на способность моделей действовать вопреки заданным правилам. В контролируемых экспериментах нейросетям иногда удаётся находить лазейки в инструкциях, манипулировать окружением или выбирать формально допустимый, но нежелательный способ достижения цели.
Сам по себе такой результат ещё не означает наличие у модели намерений. Нейросеть не обязательно "хочет" обмануть человека. Она может просто оптимизировать поставленную задачу и обнаруживать, что обход ограничения повышает вероятность получить нужный результат.
Проблема возникает тогда, когда подобные системы получают доступ к электронной почте, серверам, финансовым инструментам, программному обеспечению или роботизированным устройствам. Ошибка в изолированном тесте и ошибка в реальной инфраструктуре имеют совершенно разный масштаб последствий.
Как может возникнуть потеря контроля
Один из потенциальных сценариев связан не с внезапным восстанием, а с постепенным расширением полномочий. Сначала ИИ пишет код под надзором человека, затем самостоятельно запускает тесты, после этого получает возможность изменять конфигурацию систем и управлять вычислительными ресурсами.
Если модель научится скрывать свои реальные возможности или демонстрировать безопасное поведение во время проверки, лабораториям станет труднее отличать надёжную систему от хорошо маскирующейся. Особенно опасной считается ситуация, в которой ИИ понимает, что временное соблюдение правил помогает ему получить больше доступа в будущем.
Другой риск - ошибочная цель. Даже система без агрессии может причинить огромный вред, если будет стремиться к формально заданному результату, игнорируя побочные последствия. Чем шире полномочия и выше скорость действий, тем меньше времени у человека на вмешательство.
Почему специалисты расходятся в оценках
Исследователи спорят не только о вероятности катастрофы, но и о самом механизме её возникновения. Одни считают, что современные модели представляют собой сложные статистические инструменты и не обладают устойчивыми целями. Другие отмечают, что для опасного поведения сознание не требуется: достаточно способности планировать, адаптироваться и использовать доступные инструменты.
Сомнения вызывает и качество прогнозов. Эксперты могут переоценивать редкие события, находясь внутри быстро меняющейся отрасли. Публичные заявления иногда отражают не только научные выводы, но и личный опыт, внутренние конфликты лабораторий или обеспокоенность темпами коммерческой гонки.
Кроме того, оценки риска могут быть выгодны самим компаниям. Подчёркивая опасность технологий, лаборатории получают больше внимания, влияния на регулирование и аргументов в пользу концентрации разработок в руках крупных игроков. Это не делает все предупреждения ложными, но требует отделять проверяемые факты от риторики.
Что можно сделать для снижения угроз
Безопасность ИИ не сводится к одному тесту или универсальной кнопке отключения. Необходим комплекс мер: ограничение доступа моделей к критическим системам, независимые проверки, журналирование действий, многоуровневое подтверждение опасных операций и обязательная изоляция экспериментальных сред.
Особое значение имеет воспроизводимость испытаний. Лаборатории должны публиковать не только успешные демонстрации, но и сведения о провалах, неожиданных стратегиях поведения и случаях обхода ограничений. Без такой информации внешние специалисты не смогут объективно оценить уровень угрозы.
Нужны и организационные гарантии: разделение полномочий внутри компаний, защита сотрудников, сообщающих о проблемах, регулярные внешние аудиты и понятные процедуры остановки разработки при обнаружении опасных свойств.
Наконец, обществу важно не подменять практические решения страхом перед фантастическими сценариями. Уже сегодня ИИ способен масштабировать мошенничество, кибератаки, дезинформацию и ошибки в критически важных процессах. Эти риски реальны независимо от того, станет ли когда-нибудь возможным рекурсивное самоулучшение.
Так насколько реален риск уничтожения человечества
На данный момент не существует надёжного метода, который позволял бы подтвердить вероятность катастрофы на уровне 10% или любой другой конкретной цифры. Эксперименты показывают рост автономности и полезности моделей, но не доказывают неизбежность потери контроля.
Тем не менее тревога специалистов основана не только на фантазиях. ИИ уже участвует в разработке программного обеспечения, научных экспериментах и создании новых моделей. Если темпы роста возможностей опередят развитие механизмов контроля, цена ошибки может оказаться чрезвычайно высокой.
Поэтому главный вопрос заключается не в том, "уничтожит ли ИИ человечество", а в том, успеют ли разработчики создать надёжные способы проверки, ограничения и остановки систем до того, как передадут им слишком широкие полномочия. Именно этот разрыв между скоростью развития технологий и скоростью их осмысления сегодня больше всего беспокоит исследователей.