vLLM
Inférence auto-hébergée à haut débit
Vendor ID : vllm · Catégories : IA
vLLM — moteur d'inférence à haut débit et efficace en mémoire. Expose une surface API compatible OpenAI.
Authentification
| Credential | Notes |
|---|---|
apiKey (optionnel) | Si votre déploiement vLLM est protégé. De nombreuses installations auto-hébergées ne l'activent pas. |
none | Si le serveur vLLM est accessible directement. |
Capacités
| Capacité | Protocole filaire |
|---|---|
| LLM | openai-chat-v1 |
| Embedding | compatible openai-chat-v1 |
Configuré par intégration avec un baseUrl pointant vers le point de terminaison vLLM.