Détails du modèle et inférence hors ligne

Le dépôt DeepInfer ne prend en charge qu'un seul modèle, DeepSeek-V4.1-Flash, un grand modèle de langage de 552 milliards de paramètres. Ce modèle a été publié le 10 septembre et repose sur une architecture à mélange d'experts, que ActuIA a décrite en détail. La documentation du dépôt présente cette version comme permettant l'inférence hors ligne : le moteur, les noyaux de calcul et l'ordonnanceur sont disponibles, mais aucun serveur d'API n'est documenté.

Bibliothèques associées et alignement sur l'API

Le dépôt est accompagné de deepseek-recipe, un ensemble de bibliothèques en Rust qui convertissent les requêtes API Chat Completions, Responses et Messages en séquences de jetons. Ces bibliothèques analysent également les sorties du modèle, y compris le raisonnement et les appels d'outils. DeepSeek affirme que la logique de deepseek-recipe est alignée sur son API officielle, de sorte qu'un hébergeur tiers pourrait obtenir le même comportement d'API. Toutefois, cet hébergeur devrait toujours fournir l'inférence, l'exécution des outils et le transport HTTP.

Revenus et échelle du service

Un document de questions-réponses publié avec le code décrit l'échelle du service. DeepSeek indique qu'un seul cluster traite 155 000 milliards de jetons par jour, avec un revenu forfaitaire de 38 $ par heure-GPU, soit la moitié du tarif de pointe. Ce chiffre représente un revenu et ne donne aucune information sur les coûts ni sur les marges. Le document ne précise ni la taille du cluster, ni la puce utilisée, ni la proportion de jetons d'entrée, ni si ce revenu est facturé ou théorique.

Comparaison des chiffres de revenus

Le 1er mars 2025, DeepSeek a publié un revenu théorique de 562 027 $ sur 24 heures pour les modèles V3 et R1. Ce chiffre repose sur une moyenne de 226,75 nœuds, comportant chacun huit H800, et sur 776 milliards de jetons, entrées et sorties confondues. Selon le calcul d'ActuIA, cela correspond à 12,9 $ par heure-GPU au tarif de R1. Le montant de 38 $ est donc près de trois fois supérieur. Toutefois, la comparaison reste indirecte, en raison des différences de modèles, de grilles tarifaires et du caractère théorique du chiffre de 2025.

Composants nécessaires au déploiement

Le README énumère les composants supplémentaires nécessaires à un service complet, notamment un système de cache KV et la séparation de l'encodage des images, du préremplissage (prefill) et du décodage sur des machines distinctes. Un équilibrage de charge entre les réplicas de préremplissage et de décodage est également requis. Le préremplissage traite le prompt d'entrée, tandis que le décodage génère la réponse jeton par jeton. Le README indique que la plupart des fonctionnalités requises du moteur sont déjà implémentées.

Infrastructure interne et composants open source

DeepSeek précise que le cache KV repose sur 3FS, un système de fichiers distribué qu'elle a publié en open source en février 2025. Le stockage dispose d'environ 100 pétaoctets de SSD, avec une durée de conservation de trois jours pour le trafic des agents et de sept jours pour le trafic des chatbots. Le système d'inférence utilise quatre équilibreurs de charge, dont l'équilibreur d'experts est inclus dans le code publié. Le document indique que l'équilibrage de charge atteint environ 80 % d'un benchmark hors ligne parfaitement équilibré.

Configuration de déploiement optimale

Le document suggère qu'une instance de préremplissage et une instance de décodage suffisent pour un déploiement. La configuration de décodage recommandée répartit les experts sur 64 à 128 GPU, avec un ratio préremplissage/décodage d'environ 1 pour 1. L'unité la plus efficace est constituée de 64 GPU pour le préremplissage et de 64 pour le décodage. DeepSeek indique que ses nœuds d'inférence sont répartis entre des centres de données distincts mais voisins, et conseille de prévoir environ 400 Gbit/s d'interconnexion par groupe de huit GPU.

Décision de retarder l'ouverture du moteur

En avril 2025, DeepSeek a décidé de ne pas ouvrir son moteur interne, pour trois raisons : une ancienne version dérivée de vLLM, un couplage étroit avec son infrastructure interne et l'absence d'une petite équipe de recherche capable de maintenir un projet aussi vaste. L'entreprise s'était engagée à contribuer aux projets existants. Dix-huit mois plus tard, le README de DeepInfer cite toujours vLLM comme base d'origine, ainsi que SGLang et TensorRT-LLM comme sources d'inspiration. Le même argument sert à exclure le cache KV et l'équilibrage de charge.

Feuille de route et prise en charge des puces

Deux nouveaux éléments apparaissent dans les textes de DeepSeek : le moteur cible plusieurs fournisseurs de puces, dont NVIDIA et Huawei, et le code d'inférence des futurs modèles continuera d'être publié. Du côté de NVIDIA, seule l'architecture SM100, utilisée dans les GPU Blackwell destinés aux centres de données, est mentionnée. Les H100 et H200 ne sont pas inclus. Du côté de Huawei, DeepInfer exige la boîte à outils CANN 9.2. DeepSeek avait porté DeepGEMM-Ascend et DeepEP-Ascend sur l'Ascend 950 le 30 septembre.

Différences de performance et de compatibilité

L'inférence invariante au regroupement (batch-invariant) et l'échantillonnage déterministe ne sont disponibles que sur NVIDIA. Les deux graphiques de performance du README, le préremplissage sur 4 GPU SM100 et le décodage sur 64, ont été mesurés sur NVIDIA. Le texte ne fournit aucun chiffre. Aucun benchmark indépendant n'a été publié le 20 octobre, selon Bloomberg. La page Hugging Face de DeepSeek-V4.1-Flash-1017, le point de contrôle (checkpoint) par défaut de DeepInfer publié le 17 octobre, décrit un déploiement avec vLLM et SGLang, sans mentionner DeepInfer. V4.1-Pro, que l'annonce de V4.1-Flash présente comme à venir, n'a pas de date, et DeepSeek ne le cite pas en lien avec DeepInfer.