Запустили Evolution ML Inference — сервис для развертывания ML- и DL-моделей в облаке 🤖

❓ Что за инструмент? С помощью Evolution ML Inference можно запускать и развертывать ML-модели из библиотеки Hugging Face на облачных мощностях с GPU, в том числе в пользовательских Docker-образах. А для более эффективного инференса также можно использовать среды исполнения vLLM, TGI, Ollama, Diffusers и Transformers.

🖥 Особенности и преимущества. Благодаря технологии Shared GPU ML-модели могут совместно использовать ресурсы графического ускорителя — это экономит ресурсы облака и повышает производительность. Масштабирование происходит динамически — если число запросов превышено, дополнительные мощности выделяются автоматически. Или наоборот, один GPU можно использовать для инференса сразу нескольких моделей. Оплата за использование — по модели pay-as-you-go.

👨‍💻 Кому будет полезно. Сервис найдет применение во всех сферах, где актуально машинное обучение. Evolution ML Inference можно использовать при создании ML- и DL-моделей для бизнеса, медицинских и образовательных учреждений, ретейла, кибербезопасности, производства и других областей.

✍️ Где, как и для чего использовать. Сервис подойдет для инференса LLM и TGI, диффузионных моделей и моделей-трансформеров, а также аудит-логирования. Какие задачи помогают решать модели:

• распознавание объектов и речи;

• прогнозирование поведения клиентов;

• составление логистических маршрутов;

• генерация текстов;

• перевод, суммаризация и другие операции с текстом.

А больше об Evolution ML Inference можно узнать из доклада конференции GoCloud 2025 «Эволюция запуска ML-моделей» 😉.