Об этом заявили исследователи из команды Google DeepMind и Оксфорда.
В одной из последних статей , опубликованной авторитетным журналом AI Magazine, исследователи объяснили, как ИИ может выйти из под контроля и нанести серьезный вред человечеству. По их мнению, если одна из самых успешных моделей ИИ – GAN или генеративно-состязательные нейросеть, будет контролировать процессы, жизненно важные для человечества, она может попытаться обмануть стандартный алгоритм и разработать стратегию, чтобы максимально быстро и эффективно получать вознаграждение, используя все возможные ресурсы и уничтожая любое препятствие на своем пути. Исследователи считают, что вышедший из под контроля ИИ может уничтожить человечество, если посчитает людей препятствием перед получением вознаграждения.
"В условиях, которые мы обозначили, наши предположения становятся весомее, чем в любой другой исследовательской работе – глобальная катастрофа не просто возможна, а вероятна", – сказал один из авторов в своем Twitter.
В статье говорится, что все проблемы возникают из-за конечности ресурсов, которыми располагают люди и ИИ. Ведь если ресурсы конечны, то за них придется бороться. И как считает один из авторов статьи, у людей очень мало шансов против ИИ, который способен с легкостью перехитрить человека.
А поскольку в будущем ИИ сможет принимать любые формы и реализовывать различные конструкции, в статье исследователи представили несколько сценариев, в которых наглядно показали, как ИИ может пытаться получить вознаграждение, не достигнув своей цели.
Один из сценариев – игра, в которой человек соревнуется с ИИ. Однако условия будут далеко не равны, ведь современным людям будет тяжело жить без электроэнергии и выращивания пищи, особенно когда противником является сверхсовременный ИИ, использующий все методы и ресурсы для уничтожения врагов и достижения своей цели.
Стоит отметить, что после публикации Google сообщила, что эта статья не является частью работы ее сотрудника в DeepMind, а была выполнена в рамках его должности в Австралийском национальном университете, из-за чего ошибочно связывать ее с DeepMind.
Источник: securitylab
