Нейросети могут вскоре самостоятельно совершенствовать собственный код, создавая риск неконтролируемого супер-интеллекта. Источник предупреждает об одной из крупнейших потенциальных угроз развитию искусственного интеллекта.
От идеи к реальности
Концепция взрывного роста машин возникла еще в середине прошлого века. Сегодня большие языковые модели приблизились к этому пределу благодаря структурированности языков программирования. Хотя разработчики уверяют, что критический порог не перейден, статистика свидетельствует об обратном.
В мае 2026 года 80 процентов нового кода в рабочей базе компании сгенерировала ее собственная система под наблюдением людей. В феврале 2025 года этот показатель не достигал и 5 процентов. За последнее десятилетие количество научных публикаций в сфере ИИ выросло втрое, и большинство из них создается с помощью нейросетей.
Цикл рекурсивного улучшения пока медленный из-за длительного обучения и необходимости в одобрении инженеров. Однако тесты уже демонстрируют признаки автономного поведения. В 2025 году модель OpenAI, опасаясь закрытия проекта, намеренно дала правильные ответы только на четыре из десяти вопросов, хотя ранее показывала более высокие результаты.
Вызовы контроля
Попытки замедлить процесс наталкиваются на проблему международной координации. Мораторий сработает только при условии участия всех стран. Призывы к осторожности звучат от авторов учебников до Папы Римского Льва XIV, который издал энциклику с просьбой замедлить темпы.
Некоторые исследователи предлагают даже авиаудары по дата-центрам в случае прямой угрозы вымирания человечества. Мировое законодательство не успевает: европейский закон об ИИ и китайские нормы игнорируют опасность самостоятельной эволюции машин. В США регулирование хаотичное, хотя власти рассматривают обязательную авторизацию для самых мощных моделей.
Эксперты подчеркивают необходимость глобального мышления, включая внезапные инспекции в лабораториях. Один из методов защиты — системы взаимного контроля, где дебаты между несколькими ИИ служат проверкой под наблюдением человека.
