Tecnologia DeepSeek rende open source DeepInfer, il motore che fa girare i suoi servizi
La startup cinese pubblica con licenza Apache 2.0 il framework di inferenza usato in produzione: gira su chip Nvidia e Huawei, ma per ora con un solo modello.
In breve
- Il 20 ottobre DeepSeek ha pubblicato DeepInfer, il framework di inferenza dei suoi servizi, con licenza Apache 2.0 (SiliconANGLE, MarkTechPost).
- Secondo DeepSeek un cluster serve 155.000 miliardi di token al giorno (SiliconANGLE, MarkTechPost).
- Supporta un solo modello, DeepSeek-V4.1-Flash, su Nvidia Blackwell e Huawei Ascend 950 (SiliconANGLE, MarkTechPost).
Il contesto
Servire un modello a milioni di utenti a costi sostenibili è, per DeepSeek, «il problema centrale» di un framework di inferenza. Nel 2025 l'azienda non aveva pubblicato il suo motore perché troppo legato all'infrastruttura interna; ora lo fa, pur senza alcuni componenti (SiliconANGLE).
I fatti, punto per punto
- Numeri. 155.000 miliardi di token al giorno per cluster e ricavi di 38 dollari per GPU all'ora a prezzi fuori picco, dati dichiarati da DeepSeek (SiliconANGLE, MarkTechPost).
- Hardware. GPU Nvidia SM100 Blackwell e NPU Huawei Ascend 950; esclusa Hopper (SiliconANGLE, MarkTechPost).
- Tecnica. Decodifica speculativa DSpark: circa il 30% di token di bozza verificati in meno e 4-7% di throughput in più secondo DeepSeek (SiliconANGLE, MarkTechPost).
- Limiti. Mancano gestione della cache KV, separazione prefill/decode e bilanciamento del carico; i benchmark sono dichiarati da DeepSeek (MarkTechPost, SiliconANGLE).
Perché ti riguarda
Per chi sviluppa con l'AI è uno sguardo raro su come un laboratorio di frontiera serve davvero i suoi modelli. Il supporto ai chip Huawei conta anche per gli equilibri tra Cina e Stati Uniti. Ma non è un prodotto pronto: serve un'infrastruttura grande, con 64 GPU per il prefill e altre 64 per la decodifica come taglia minima efficiente (SiliconANGLE).
Fonti
- SiliconANGLE (Duncan Riley) – DeepSeek open-sources DeepInfer, the inference framework behind its production services (20/10/2026)
- MarkTechPost (Asif Razzaq) – DeepSeek Open-Sources DeepInfer, the Inference Framework Behind DeepSeek-V4.1-Flash (20/10/2026)