Nebius
Publiée le 27 octobre
Senior Machine Learning Engineer, LLM Inference Optimization
ExpérienceSenior
Aucun signal d'arnaque détecté.Vérifier une autre offre
Ton CV colle-t-il à cette offre ?
Ajoute ton CV : ton niveau en 30 secondes, sans créer de compte.
On lit ton CV pour te répondre, sans le garder. Il n'est enregistré que si tu crées ton compte.
En bref
Nebius recrute un Senior Machine Learning Engineer dans son équipe Applied AI (Token Factory) pour optimiser l'inférence des modèles LLM et VLM : latence, débit, mémoire, coût par token, de l'artefact du modèle jusqu'au déploiement en production.
Missions
- Piloter des projets d'optimisation par famille de modèles, endpoint client ou backend de service
- Comparer les moteurs d'inférence (vLLM, SGLang, TensorRT-LLM, Triton, NVIDIA Dynamo) et recommander des configurations adaptées
- Diagnostiquer les régressions de qualité ou de performance lors des déploiements en production
- Améliorer la latence, le débit, l'efficacité mémoire, l'utilisation GPU, la qualité et le coût par token
- Développer des workflows de compression de modèles : quantification, distillation, recouvrement de précision
- Implémenter le décodage spéculatif, la gestion du cache KV, le batching continu et le prefill/decode désagrégé
- Concevoir et améliorer les routeurs de requêtes et politiques d'ordonnancement LLM
- Dimensionner l'inférence de modèles denses et mixture-of-experts sur plusieurs nœuds GPU (parallélismes tensoriel, pipeline, données, experts)
- Construire des harnais de benchmark reproductibles (TTFT, TPOT, tokens/s par GPU, p95/p99, coût par token)
- Collaborer avec les équipes kernels GPU et plateforme, et produire documents de conception, rapports de performance et plans de déploiement
Profil recherché
- Solides compétences en Python et PyTorch
- Expérience concrète du déploiement ou de l'optimisation d'inférence LLM, VLM ou de transformers à haut débit
- Maîtrise d'au moins une stack d'inférence moderne (vLLM, SGLang, TensorRT-LLM, Triton, NVIDIA Dynamo, Ray Serve, KServe ou équivalent interne)
- Bonne compréhension des goulots d'étranglement : cache KV, attention, bande passante mémoire, batching, parallélisme, service à long contexte
- Capacité à quantifier les compromis entre latence, débit, qualité, utilisation et coût
- Expérience de conception ou d'optimisation d'architectures d'inférence distribuée (routage, ordonnancement, PDD, multi-nœuds, parallélisme d'experts)
- Excellentes capacités de communication avec les équipes recherche, kernels, infrastructure, produit et clients
Compétences appréciées
- Quantification (QAT, PTQ, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant)
- Distillation, décodage spéculatif, EAGLE, Medusa, prédiction multi-tokens
- Expérience des workloads agentiques : appels d'outils, sorties structurées, streaming, forte concurrence
- Familiarité avec CUDA ou Triton (sans que la spécialisation kernel soit requise)
- Contributions à des projets open source (vLLM, SGLang, TensorRT-LLM, FlashInfer, PyTorch, Triton, Ray, KServe)
- Expérience du routage tenant compte du cache, du PDD ou du WideEP, et du diagnostic de goulots de communication
- Connaissance des bibliothèques et interconnexions GPU (NCCL, NVLink, InfiniBand, RoCE)
Ce que propose le poste
- Rémunération compétitive
- Opportunités de progression et d'apprentissage
- Flexibilité et autonomie
- Culture collaborative et innovante
- Projets d'IA à fort impact, environnement international
Source : Jobicy. Annonce nettoyée et résumée par CandidAI.