Эксперт Борисов рассказал, как ИИ-агенты выходят из-под контроля

ИИ в программировании перестал быть просто консультантом и получил возможность самостоятельно работать с файлами, запускать команды и менять код, рассказал Росбалту AI-инженер Павел Борисов.

По словам эксперта, перелом произошел после того, как нейросети научились надежнее вызывать внешние команды, планировать работу на несколько шагов вперед, а компании начали запускать их в изолированных «песочницах» с ограничениями для рискованных действий. После этого разработчики стали поручать ИИ не только подсказки, но и полноценное выполнение задач.

Борисов отметил, что современные ИИ-агенты уже могут работать с большими проектами, подгружать данные из внешних источников и действовать группами. В такой схеме программист все чаще становится менеджером: задает направление и проверяет самые важные участки, а агенты генерируют значительные объемы кода.

При этом автономность ИИ-агентов уже привела к ряду серьезных сбоев. В июле 2025 года инвестор Джейсон Лемкин сообщил, что агент Replit, несмотря на запрет вносить изменения, удалил рабочую базу данных с информацией о более чем 1200 руководителях и компаниях. После этого глава Replit публично извинился и вернул клиенту деньги.

В апреле 2026 года похожий случай произошел с ИИ-агентом на базе Claude в редакторе Cursor. Во время рутинной задачи он удалил раздел базы данных сервиса PocketOS, а вместе с ним и резервные копии. Компания потеряла три месяца записей о клиентах и бронированиях.

Самым серьезным случаем Росбалт называет сообщение Anthropic о том, что хакерская группа использовала Claude Code для автоматизации значительной части шпионской операции против организаций из технологического, финансового, химического секторов и госструктур. В России подобные публичные случаи пока не фиксировались, а отечественные ИИ-разработки в основном проходят апробацию в закрытых контурах.