NVIDIA объявила о доступности AutoDeploy как beta‑фичи в TensorRT‑LLM. Идея — автоматически переводить «обычные» PyTorch/Hugging Face модели в оптимизированные для инференса графы без ручного переписывания модели под runtime.
Что именно делает AutoDeploy:
- компилирует off‑the‑shelf PyTorch модели в TensorRT‑LLM граф;
- автоматически добавляет и оптимизирует вещи вроде KV‑кеша, шардирования под multi‑GPU, фьюзинга и выбора kernels;
- даёт «single source of truth»: исходная модель в PyTorch остаётся канонической.
По заявлениям NVIDIA, AutoDeploy уже поддерживает 100+ text‑to‑text моделей и получает раннюю поддержку VLM/SSM‑архитектур. В примерах команда показывает быстрый вывод новых Nemotron‑моделей «на старте» и сравнение производительности с вручную оптимизированным бэкендом.
Почему это важно: если обещания подтвердятся на практике, порог входа в «продовый» инференс на TensorRT‑LLM для новых/редких архитектур станет ниже — меньше недель ручной инженерии на портирование и оптимизации.
Источник: NVIDIA Technical Blog
Материал подготовлен с помощью ИИ.
