L'inférence vue par un DevOps : 21 concepts dans l'ordre d'une requête
Un serveur d'inférence ne ressemble à aucun service que j'ai exploité. Prefill, KV cache, batching continu, parallélisme : les concepts rangés dans l'ordre où une requête les traverse, traduits en mots d'ops.