Inférence IA — GPU
Service GPU — inférence IA
Le service GPU met à votre disposition, à la demande, une machine équipée d’un ou plusieurs processeurs graphiques (GPU) pour faire tourner un serveur d’inférence vLLM (compatible avec l’API OpenAI). Vous pilotez tout depuis la console : commander la machine, la démarrer, l’arrêter, la libérer — et vous y accédez de façon sécurisée par un tunnel SSH, sans jamais rien exposer sur Internet.
La machine tourne sur le cloud souverain de la plateforme : vous n’avez rien à configurer côté fournisseur, tout est géré pour vous.
Remarque
Vous êtes partenaire / revendeur et souhaitez utiliser votre propre compte cloud (OVH ou Scaleway) ? Cela relève de l’offre partenaire — voir Accès GPU sur votre compte fournisseur.
Comment ça marche, en une image
- Un « slot GPU » = une identité stable. Le slot est votre point de repère permanent dans la console (son numéro, son historique, sa configuration). Il vit indépendamment de la machine.
- Une « incarnation » = la machine réelle du moment. Quand vous commandez, une instance GPU est créée pour vous ; quand vous libérez, elle est détruite. Le slot, lui, reste : vous pouvez re-commander une nouvelle incarnation plus tard, avec la même configuration.
- Accès par tunnel SSH uniquement. Le serveur d’inférence écoute sur
127.0.0.1(la boucle locale de la machine) : il n’est jamais accessible depuis Internet. Vous ouvrez un tunnel SSH chiffré depuis votre poste, puis vous adressez le modèle surhttp://localhost:8000/v1.
Astuce
Rien à installer côté serveur : le serveur d’inférence est prêt au démarrage de la machine. Côté poste, il vous suffit d’un client SSH et d’un client
compatible OpenAI (bibliothèque openai, curl, votre application…).
Maîtriser le coût
Avertissement
Le compute GPU se facture au temps dès que la machine tourne. Prenez l’habitude d’arrêter la machine quand vous ne l’utilisez pas (bouton Arrêter) — cela coupe la facture de calcul tout en conservant votre disque. Voir Cycle de vie & coût.
Par où commencer
- Démarrage rapide — le parcours complet, de zéro à un modèle qui répond, en une page.
- Accès SSH — le how-to détaillé : générer vos clés, autoriser un poste, ouvrir le tunnel.
- Cycle de vie & coût — commander / démarrer / arrêter / libérer, la configuration, le planning, les garde-fous.
Les onglets de la fiche GPU
La fiche d’un slot GPU s’organise en onglets. En résumé :
| Onglet | À quoi il sert |
|---|---|
| Statut | L’état courant (en marche / arrêté / absent…), la région, le modèle, l’IP publique, le coût estimé. |
| Actions | Les boutons Commander / Démarrer / Arrêter / Libérer, et la Configuration & disponibilité. |
| Accès | Vos clés SSH et IP autorisées, la commande de génération de clé et la commande de tunnel à copier. |
| Mandat | L’accès au cloud — géré par la plateforme (rien à configurer). (Offre partenaire : compte fournisseur.) |
| Planning | Allumage / extinction automatiques par créneaux hebdomadaires. |
| Coût | Votre consommation, estimation live, heures cumulées, et les garde-fous (plafond, auto-arrêt). |
| Historique | Le journal daté de toutes les actions et la liste des incarnations passées. |
Sécurité — les garanties
Information
- Votre clé privée ne quitte jamais votre poste. Vous ne collez dans la console que la clé publique (ou le nom d’une clé existante).
- Le serveur d’inférence n’est pas exposé. vLLM écoute sur
127.0.0.1; l’accès se fait exclusivement par tunnel SSH chiffré. - Le port SSH n’est ouvert qu’à vos IP. Le pare-feu de la machine n’autorise le port 22 qu’aux adresses
/32que vous avez déclarées. - Cloud souverain. La machine tourne sur une infrastructure souveraine (UE), dont l’accès est géré par la plateforme au strict nécessaire.