Система AIP представлена для военного применения, но отсутствие информации о предотвращении "галлюцинаций" вызывает серьезные опасения.

Palantir, компания миллиардера Питера Тиля, запускает платформу искусственного интеллекта Palantir (AIP), предназначенную для запуска больших языковых моделей, таких как GPT-4, и альтернатив в частных сетях. В одном из своих видеороликов Palantir демонстрирует, как военные могут использовать AIP для ведения войны.

В демо-ролике оператор системы обнаруживает войска противника и просит ИИ-помощника отправить разведывательные дроны, подготовить варианты тактических ответов на угрозу и даже организовать радиопомехи для приоритетных коммуникаций. AIP помогает оценить силы противника и их потенциал с использованием беспилотного аппарата Reaper, предлагая различные способы реагирования, включая учет количества легких противотанковых средств в каждом подразделении.

«Оператор спрашивает, какие вражеские подразделения находятся в регионе, и использует искусственный интеллект для построения вероятного формирования подразделений», — говорится в видео. Получив от ИИ лучшее предположение о том, что происходит, оператор затем просит ИИ сделать более качественные снимки. Он запускает дрон Reaper MQ-9, чтобы сделать фотографии, и оператор обнаруживает, что рядом с дружественными силами находится танк Т-80, российская машина советских времен.

Затем оператор спрашивает ИИ, что с этим делать. «Оператор использует AIP для создания трех возможных вариантов действий для наведения на это вражеское оборудование», — говорится в видео. «Затем они используют AIP для автоматической отправки предложенных опций по цепочке команд». Варианты включают атаку танка с помощью F-16, дальнобойной артиллерии или ракет Javelin. Согласно видео, ИИ даже сообщит всем, достаточно ли у ближайших войск «Джавелинов» для выполнения миссии и автоматизации систем подавления.

Война с дронами уже абстрагировала войну, облегчив людям возможность убивать на больших расстояниях одним нажатием кнопки. Последствия подобных систем хорошо задокументированы. Забавная особенность видео заключается в том, что оно называет своих пользователей «операторами» — термин, который в военном контексте является сокращением для бородатых спецподразделений таких групп, как Seal TEAM Six. В мире Palantir элитные силы Америки имеют то же прозвище, что и клавиатурные ковбои, спрашивающие робота, что делать с русским танком на границе.

Видео акцентирует внимание на том, что крупные языковые модели и алгоритмы должны находиться под строгим контролем, чтобы обеспечить их "законное и этичное" использование. Работа AIP, как говорится, должна быть основана на трех ключевых принципах. Во-первых, AIP должна применяться "этично и законно" в рамках системы, способной собирать секретные и открытые данные. Во-вторых, операторы должны определять, что ИИ может видеть и какие действия он может предпринимать. В-третьих, AIP должна применять передовые ограничительные механизмы для предотвращения несанкционированных действий со стороны ИИ.

По мнению Palantir, ключевым элементом в системе управления должен быть человек, хотя в демонстрационном ролике оператор в основном следует рекомендациям ИИ, выбирая действия из предложенного набора. Важно отметить, что видео не уточняет, какие меры принимаются для предотвращения "галлюцинаций", характерных для всех современных крупных языковых моделей — в случае работы на поле боя такие сбои могут привести к катастрофическим последствиям не только для противника, но и для самих пользователей системы.

Источник: securitylab