vLLM

Опис
vLLM у OneCloudPlanet — інференс-сервер для продакшену: коли Ollama вже мало, vLLM дає максимальну пропускну здатність на тому ж GPU завдяки PagedAttention і continuous batching.

Що таке vLLM?
Найшвидший відкритий inference-двигун для LLM: обслуговує сотні паралельних запитів, OpenAI-сумісний API, підтримка Llama/Qwen/DeepSeek/Mistral з Hugging Face.

Чому vLLM у OneCloudPlanet?
Більше запитів на той самий GPU — нижча вартість токена.
Рекомендована конфігурація: L40S 48 GB для 7–14B; A100/H100 та multi-GPU для більших. Тарифи — Cloud GPU.
Для продукту: ваш застосунок ходить у vLLM як в OpenAI — зміна одного base_url.

Як запустити в OneCloudPlanet
1) Увійдіть у console.ocplanet.cloud
2) Відкрийте Marketplace і оберіть vLLM
3) Оберіть конфігурацію та локацію
4) Дочекайтеся деплою
5) Змініть стандартні облікові дані

Чеклист після деплою
• Завантажте модель з Hugging Face
• Навантажувальний тест на вашому трафіку
• API за Firewall — доступ лише вашим сервісам
• Ваги моделей — в Object Storage

Часті питання
vLLM чи Ollama? Ollama — для експериментів і команди; vLLM — для продакшену з сотнями запитів.
Квантовані моделі? Так: AWQ, GPTQ, FP8.