Энтузиаст запустил алгоритм DLSS 5 от NVIDIA на встроенной графике Intel Arc

Независимый разработчик под ником Uzbekunknown опубликовал на платформе GitHub исследовательский проект, позволяющий запустить алгоритм нейросетевого рендеринга DLSS 5 Neural Rendering от компании NVIDIA на встроенной видеокарте Intel Arc 140V архитектуры Xe2. Технология представляет собой диффузионную модель с одним шагом вычислений, которая заново перерисовывает детали кадра в пространстве пикселей. Модификация функционирует в операционной системе Linux в реальных играх без использования оригинальных видеокарт NVIDIA, проприетарной среды CUDA и фирменных библиотек NGX.

Все вычисления выполняются на аппаратных матричных блоках Intel XMX с помощью стандартного расширения Vulkan. Программа перехватывает изображение через специальный слой и работает с любыми проектами с поддержкой этого графического интерфейса, в том числе с играми для Windows через транслятор Proton. Архитектура нейросети состоит из симметричной структуры U-Net с общим числом параметров более 145 миллионов, которые удерживаются прямо в памяти встроенного видеоадаптера.

Проект распространяется по свободной лицензии Apache 2.0 без включения весов нейросети, которые пользователям требуется извлекать самостоятельно из оригинальных файлов NVIDIA. Сеть генерирует остаточный слой детализации, накладываемый поверх базового изображения. Из-за аппаратных ограничений производительность оказалась крайне низкой: в разрешении 1920x1080 частота кадров падает до 1.2 в секунду при времени обработки около 850 миллисекунд, а для достижения 10.5 кадров в секунду в файтинге Tekken 7 разрешение пришлось снижать до 640x360.

Качество картинки также вызывает вопросы из-за особенностей диффузионной модели, которая навязывает избыточную резкость на текстурах одежды и портит исходную цветовую гамму лиц персонажей в некоторых проектах. Примечательно, что практически весь программный код и документация были созданы при помощи искусственного интеллекта моделей Claude Opus 5 и Astra. Сейчас проект остается сугубо экспериментальным исследованием, которое на текущем железе страдает от сбоев видеодрайвера.