Сервис предлагает оптимизированные модели искусственного интеллекта для речи, диалога и анимации, которые можно интегрировать в любую игру.

Компания NVIDIA анонсировала на выставке Computex 2023 новый сервис под названием NVIDIA Avatar Cloud Engine (ACE) for Games, который позволяет разработчикам игр создавать и внедрять индивидуальные модели речи, диалога и анимации для неигровых персонажей (NPC) с помощью искусственного интеллекта.

Сервис ACE for Games основан на технологии NVIDIA Omniverse и включает в себя оптимизированные модели искусственного интеллекта для разных аспектов взаимодействия с NPC, таких как:

  • NVIDIA NeMo — для создания, настройки и развертывания языковых моделей, используя собственные данные. Большие языковые модели могут быть адаптированы под сюжет и характер персонажей, а также защищены от нежелательных или небезопасных диалогов с помощью NeMo Guardrails.
  • NVIDIA Riva — для автоматического распознавания речи и синтеза речи из текста, чтобы обеспечить живое разговорное общение.
  • NVIDIA Omniverse Audio2Face — для мгновенного создания выразительной лицевой анимации игрового персонажа, соответствующей любому звуковому треку. Audio2Face поддерживает коннекторы Omniverse для Unreal Engine 5, так что разработчики могут добавлять фациальную анимацию прямо к MetaHuman персонажам.

Разработчики могут интегрировать весь комплекс решений NVIDIA ACE for Games или использовать только те компоненты, которые им нужны.

NVIDIA продемонстрировала возможности сервиса ACE for Games в сотрудничестве со стартапом Convai, который специализируется на разработке передового разговорного искусственного интеллекта для виртуальных игровых миров. Convai интегрировал модули ACE в свою платформу для создания реалистичных аватаров в режиме реального времени.

В демонстрации под названием Kairos игроки взаимодействуют с Джином, хозяином лапшичной. Хотя он является NPC, Джин отвечает на естественные языковые запросы реалистично и в соответствии с нарративной задумкой — все с помощью генеративного искусственного интеллекта.

Нейронные сети, которые обеспечивают работу NVIDIA ACE for Games, оптимизированы для разных возможностей, с различными компромиссами между размером, производительностью и качеством. Сервис ACE for Games поможет разработчикам подобрать модели для своих игр, а затем развернуть их через NVIDIA DGX Cloud, GeForce RTX PC или локально для вывода в режиме реального времени. Модели оптимизированы для задержки — критического требования для погружения и отзывчивости в играх.

Генеративный искусственный интеллект имеет потенциал революционизировать интерактивность игроков с персонажами игры и значительно увеличить погружение в игры", — сказал Джон Спитцер, вице-президент по технологиям разработки и производительности в NVIDIA.

Разработчики игр уже используют технологии генеративного искусственного интеллекта от NVIDIA для своих проектов. Например, студия SC Game World применяет Audio2Face в своей грядущей игре S.T.A.L.K.E.R. 2: Heart of Chernobyl. А инди-разработчик Fallen Leaf использует Audio2Face для фациальной анимации персонажей в Fort Solis — научно-фантастическом триллере от третьего лица, действие которого происходит на Марсе.

Источник: securitylab