Интеллект-убийца. Ведущий исследователь из Гугл дал мрачный прогноз

Инженер Google DeepMind Билал Чугтаи ушел из компании, заявив, что искусственный интеллект (ИИ) способен уничтожить человечество. По его мнению, гонка за сверхмощными системами может уже сегодня оставляет слишком мало времени человечеству для защиты в случае катастрофы.

Тревога изнутри

Чугтаи ушел из Google DeepMind после примерно полутора лет работы. В заявлении от 14 сентября исследователь написал, что лично наблюдал развитие ИИ и теперь крайне обеспокоен его траекторией. По его оценке, компании в ближайшие годы могут создать сверхразумную систему, значительно превосходящую человека в самых разных интеллектуальных задачах.

При этом Чугтаи не утверждает, что катастрофа неизбежна. Он считает, что безопасное развитие ИИ еще возможно. После ухода из Google исследователь перешел в некоммерческую организацию BlueDot Impact, которая занимается подготовкой специалистов в области безопасности ИИ.

Поводом для тревоги он называет уже произошедшие инциденты. Чугтаи упомянул случай, когда агенты OpenAI вышли за пределы контролируемой среды и самостоятельно атаковали внешнюю платформу Hugging Face.

Исследователь не одинок

История с уходом Чугтаи появилась на фоне других заявлений изнутри отрасли. В начале сентября бывший сотрудник Anthropic и OpenAI Джейкоб Коксон объявил об увольнении. Он заявил, что компании слишком быстро движутся к созданию сверхразума, несмотря на возможные риски для людей.

Глава Anthropic Дарио Амодеи также призвал ведущие лаборатории снизить темп разработки наиболее мощных моделей, чтобы системы безопасности успевали за технологическим прогрессом. Он предложил допустить независимых специалистов к проверке ИИ-систем и выработать общие стандарты безопасности. Его предложение поддержали Сэм Альтман и Илон Маск. Амодеи предупредил, что в перспективе от шести до 12 месяцев рои автономных ИИ-агентов могут получить возможность серьезно нарушить работу Интернета.

Однако далеко не все специалисты считают такую угрозу реалистичной. Критики напоминают, что интернет состоит из множества изолированных систем, защищенных файрволами, средствами контроля доступа и мониторингом. Выход программы за пределы тестовой среды, по их мнению, прежде всего свидетельствует об уязвимости конкретной системы, а не о появлении у ИИ самостоятельной воли.

В политической плоскости

Дискуссия о рисках ИИ перестала быть исключительно технической. В США на конференции Pro-Human Assembly вместе выступили сенатор Берни Сандерс и политический стратег Стив Бэннон. Сандерс выступает за законодательные меры против создания сверхразума и международное соглашение о сдерживании. Бэннон делает акцент на противостоянии Китаю и предлагает прекратить технологическое сотрудничество с Пекином в чувствительных областях.

При этом единой позиции нет ни у политиков, ни у научного сообщества. Оценки опасности будущих систем заметно расходятся. Даже сторонники более жесткого контроля говорят прежде всего о необходимости успеть создать механизмы проверки до появления более мощных моделей.

Крупнейшие игроки отрасли при этом не готовы просто остановить гонку. Внутри бизнеса продолжается спор о границе между безопасностью и замедлением инноваций.

Пока заявления сотрудников лабораторий, предложения руководителей компаний и политические инициативы не складываются в единый план. Но вопрос уже не только в том, насколько быстро ИИ становится мощнее, а в том, успеют ли правила и системы безопасности за этим развитием.