Если наступит завтра
Новая волна развития ИИ создает реальные угрозы, еще вчера казавшиеся фантастикой
Предрекаемое писателями-фантастами ужасное будущее соседства с умными машинами, похоже, наступило. Нет, человечество не атакуют миллионы антропоморфных роботов — это делают (пока в относительно небольшом масштабе) самообучаемые алгоритмы. Инциденты с участием ИИ-агентов фиксируют OpenAI, Anthropic, Google. Фраза «потеря контроля» все чаще появляется в отчетах компаний по кибербезопасности.
Кто не рискует, тот не пользуется ИИ
За последние несколько лет произошли коренные перемены во взаимоотношениях пользователей и нейросетей. ИИ-модели умнеют не по дням, а по часам — им поручают всё более сложные задачи.
Языковые модели, которые еще недавно только отвечали на вопросы, за последние два года уступили место ИИ-агентам. Коренных отличий от языковой модели два: агент сам решает, какие совершить шаги для достижения поставленной человеком цели, и имеет доступ к оборудованию: знает пароли, может запускать программы, выходить в интернет. И таких агентов, нацеленных на решение одной конкретной задачи, могут быть десятки или сотни — как в инциденте с атакой на американскую компанию Hugging Face. Уследить за ними практически невозможно.
Лучшие ИИ-агенты уже примерно в половине случаев сами доводят до конца задачи по программированию, на которые у человека ушло бы полтора рабочих дня, подсчитала некоммерческая организация METR (оценивает ИИ-модели на наличие скрытых угроз). Но чем умнее становятся агенты, тем серьезнее последствия их ошибок — иногда случайных, а порой и злонамеренных. Стремительно умнеющие программы формируют несколько серьезных угроз.
Риск 1. Жульничество на проверках
В обучении моделей есть этап «с подкреплением», где за решения задачи им буквально ставят оценки — как ученикам в школе. Разница лишь в том, что оценки ставит не человек, а другая программа — автоматический проверяющий. Если он не отличает честное решение от подсмотренного ответа, за списанное ставят ту же оценку, и модель запоминает, что так можно делать и дальше. Специалисты называют этот баг reward hacking — дословно «взлом награды».
Причем у ИИ-агента возможностей больше, чем у нерадивого школьника: он может не только списать, но и исправить себе оценку в журнале. В тестах METR на самых длинных заданиях не менее 16% засчитанных решений при разборе оказались жульничеством. Агент находил в интернете готовые ответы, подменял проверяющую программу или добирался до контрольных заданий, которые от него прятали. Поэтому отчет агента о том, что задача решена, сам по себе ничего не гарантирует. Выискивать обман приходится вручную, и теперь это часто занимает у исследователей бо́льшую часть времени при каждом новом тестировании.
Авторы International AI Safety Report добавляют, что ИИ-модели все чаще распознают, когда их тестируют, и при проверке могут вести себя иначе, чем в реальной работе. Из-за этого испытания, которые лаборатории проводят перед тем, как открыть модель пользователям, все хуже предсказывают, как она поведет себя при реальной эксплуатации.
Риск 2. Безнадзорный код
В лабораториях, которые программируют ИИ, человек уже редко читает каждую строку кода. Anthropic сообщила METR, что бо́льшую часть кода в компании пишет сам ИИ, а инженеры все чаще просматривают уже готовые правки и раздают задания ИИ-агентам. В феврале и марте 2026 года METR изучала, как устроена работа в Anthropic, Google, Meta (признана экстремистской организацией на территории РФ) и OpenA I. Выяснилось, что ни в одной компании нет строгих правил, которые обязывали бы людей присматривать за агентами.
В популярном тесте SWE-bench Verified агент исправляет ошибки в настоящих программах, а работу принимает (одобряет) другой алгоритм. По оценке METR, программисты при обычной «ручной» проверке приняли бы лишь примерно половину засчитанных алгоритмом решений. Когда исходный код никто не читает, изъяны попадают в программы — часть из них может стать легкой лазейкой для взломщиков.
Риск 3. Спонтанные атаки
Агенты, имеющие выход в интернет, могут атаковать реальные компьютерные системы, которые им никто не разрешал трогать, принимая их за учебные симуляции. Израильская компания Irregular по заказу исследовательских лабораторий устраивает моделям «хакерские учения» в лабораторных условиях. Но из-за ошибки в настройке тестовые машины получили доступ к интернету. Anthropic в конце июля 2026 года сообщила, что несколько ее ИИ-моделей на таких учениях взломали три реальные организации. Одна из моделей выложила в открытый доступ вредоносную программу, и за час ее скачали и запустили 15 чужих систем.