NVidia Triton Inference Server: строим production ML без разработчиков

Дата публікації:
16/12/2024 10:07

Постійна адреса новини:
http://www.vsinovyny.com/11533909

NVidia Triton Inference Server: строим production ML без разработчиков

16/12/2024 10:07 // Хабрахабр:

Привет, Хабр! Меня зовут Антон, я DevOps-инженер в команде Data/ML-продуктов Selectel. В этой статье расскажу про наш новый продукт — Inference-платформу Selectel, а также вызовы, с которыми мы столкнулись при ее разработке без разработчиков.

Почему без разработчиков? Рынок ML все еще молодой. В его российском сегменте не так много решений, связанных с Inference‑платформами. Перед началом создания полноценного продукта наша команда сначала проверяет технологические гипотезы, не растрачивая существенные ресурсы на разработку. Все делается силами небольшой команды Ops‑инженеров. Мы используем сервисы с открытым исходным кодом на базе инфраструктуры облака Selectel — тем самым достаточно быстро и недорого тестируем предположения, а в случае успеха легко масштабируем до готового продукта. Дальнейшее развитие уже определяется обратной связью от наших клиентов. Читать дальше →

» Читати повністю

«	Наступна новина з архіву Генеральний штаб ЗСУ інформує про втрати ворога на 16.12.24	Попередня новина з архіву Оформление продажи в 1С ЕРП (1 часть)	»