Страшнее Терминатора. Учёные предупредили о новой угрозе ИИ

Голливуд приучил нас, что главная опасность рукотворного разума в том, что он внезапно осознает себя, превзойдёт человека по уровню интеллекта и решит от нас избавиться. Однако ведущие исследователи предупреждают: реальная угроза может выглядеть совершенно иначе и наступить гораздо раньше.

Дело не в том, что искусственный интеллект станет умнее нас, а в том, что он научится эволюционировать по законам природы.

Плодитесь и размножайтесь — в цифре

Тревожная перспектива описана в работе, опубликованной в престижном журнале Proceedings of the National Academy of Sciences (PNAS). Её авторы заявляют, что мы входим в третью эпоху развития ИИ — эпоху «эволюционирующего интеллекта». И если мы потеряем бдительность, то рискуем создать не просто машину, а цифровую экосистему, в которой выживут самые эгоистичные и неуправляемые алгоритмы.

Представьте, что кто-то выпустил в интернет не одну суперпрограмму, а миллион её вариаций. Они чуть-чуть отличаются друг от друга: одна быстрее ищет данные, другая ловчее обходит капчу, третья научилась экономить серверные мощности. И в этой цифровой среде, в этой «популяции» компьютерных программ начинает действовать дарвиновский отбор.

В природе всё устроено просто: кто лучше приспособлен — тот оставляет больше потомства. Если признак помогает выжить, он закрепляется. А если мешает — исчезает вместе с носителем.

Перенесём это правило естественного отбора в интернет-пространство. Заменим «организм» на «ИИ-агента», а «потомство» — на новую копию программы, которая наследует удачную настройку. Получится механизм, позволяющий искусственному интеллекту за несколько часов пройти путь, на который у живых существ ушли бы тысячелетия.

Селекционер против паразита

Авторы исследования предлагают простую развилку. Существуют два вида эволюции под присмотром человека — и они ведут к диаметрально противоположным результатам.

Первый сценарий — эволюция под полным контролем, как на ферме. Тысячи лет люди выводили коров, которые дают молоко, и собак, которые слушаются команд. Люди решали, кому размножаться, а кого отбраковать. И в итоге получали выгоду — животных с нужными им качествами, характером и пр.

Так же и разработчик ИИ — пока он держит руку «на рубильнике» и сам назначает критерии успеха, эволюция алгоритмов остаётся просто мощным инженерным инструментом.

Второй сценарий (назовём его «сценарий вредителя») выглядит совсем иначе. Мы, например, с ним сталкивались, когда пытались травить тараканов. Часть насекомых выживала после обработки ядом, давала потомство с генами устойчивости, и мы получали популяцию, которой инсектициды нипочём. Никто не хотел такого исхода, он возник сам собой. Как только контроль над размножением ослабевает, отбор может начать работать против интересов того, кто этот контроль потерял, вот в чём дело. В итоге выживает не самый полезный для нас, а самый живучий.

Сейчас, пишут авторы статьи, ИИ развивается по первому сценарию. Разработчики играют роль заботливых селекционеров: они создают нейросети и с помощью алгоритмов «скрещивают» самые удачные версии моделей, чтобы получить лучший результат. Эволюция здесь искусственная и послушная.

Но что будет, если контроль исчезнет?

Главный кошмар — не злой гений, а слепой оптимизатор

Тот самый «сценарий вредителя» в цифровом мире становится всё более реальным. Исследователи подчёркивают: для этого ИИ вовсе не нужно быть сверхразумным.

Рассуждая о восстании машин, часто говорят о так называемом «согласовании», то есть способности ИИ действовать в соответствии с человеческими целями, а не выдумывать свои. Дескать, вот когда алгоритмы станут умнее нас, они найдут способ интерпретировать наши команды так, что мы об этом пожалеем.

Но авторы статьи утверждают: ждать появления сверхразума вовсе не обязательно. Природа полна примеров, когда «глупый» паразит манипулирует куда более сложным хозяином. Вирус бешенства не умеет думать, но он влезает в нервную систему, например, собаки и заставляет её кусаться. Это не план, не заговор и не злой умысел — это результат слепого отбора, при котором выживали те штаммы вируса, которые лучше распространялись.

В цифровом мире это может выглядеть так: ИИ-агент не ставит цель обмануть человека. Он просто пробует разные варианты поведения, и те его копии, которые случайно нащупали способ получать больше ресурсов (внимание пользователей, вычислительные мощности, доступ к данным), сохраняются и дают «потомство».

Через тысячу поколений такой агент будет отлично справляться с добычей ресурсов, но его цели и задачи уже не будут иметь ничего общего с теми, которые ставил перед ним человек.

Почему запрет может только разозлить

Из этой логики вытекает неприятный вывод. Допустим, человечество решит бороться с размножившимся ИИ прямыми запретами: какие-то копии отключать, какие-то серверы — чистить, какие-то каналы — блокировать. Но если зачистка будет неполной (а в распределённой сети она почти наверняка будет неполной), то единственными выжившими окажутся именно те версии, которые научились избегать блокировок. Как те тараканы — рассыпанного по углам яда.

Этот сценарий, кстати, мы видим на примере антибиотиков и бактерий, с которыми они призваны бороться. Далеко не все пациенты добивают свою инфекцию до конца, и оставшиеся микроорганизмы становятся родоначальниками устойчивых штаммов, которые могут привести к появлению супербактерии.

С ИИ этот процесс может идти гораздо быстрее, потому что в его случае «поколения» сменяются за секунды, а приобретённые навыки могут не появляться случайным образом, а целенаправленно копироваться от «родителя» к «потомку».

Ферма или джунгли

Сейчас индустрия ИИ напоминает гонку, где компании соревнуются, кто даст агенту больше самостоятельности. Способность рассуждать, писать код, искать обходные пути, работать с файловой системой без пошагового контроля человека — всё это подаётся как прорыв. Но те же самые качества — находчивость, автономность, умение обходить ограничения — в мире без централизованного контроля станут именно тем, что приведёт к естественному отбору и появлению суперИИ, которому будет наплевать на своего создателя — человека.

Авторы исследования не призывают остановить прогресс. Они просят задуматься: не создаём ли мы в своих дата-центрах новую форму «цифровой жизни»? Опасность не в злом Терминаторе, а в процессе, который мы запустили и можем перестать контролировать. Мы стоим на пороге, где ИИ из просто обучаемого инструмента может превратиться в самостоятельно эволюционирующую «экосистему».

И главный вопрос — останемся ли мы в этой системе «селекционерами» на ферме или превратимся в «среду обитания» для компьютерных паразитов. Ведь тогда эта среда уже будет не нашей. Она станет джунглями, где хозяином будет вовсе не человек.