Toute la chaîne d'infrastructure -matériel, runtime et couches logicielles- qu'une requête traverse pour obtenir une réponse d'un modèle IA.
Exemples
"L'équipe a passé une semaine entière à profiler le stack d'inférence avant de trouver le goulot d'étranglement."
Origine et usage
Repris directement du vocabulaire d'infrastructure ML, à mesure que les développeurs devaient comprendre d'où venait réellement la latence ou le coût.
Utilisé pour diagnostiquer à quelle couche exacte on perd des millisecondes ou de l'argent.
MENTIONS OVER TIME
Vous voulez voir la fiche complète en anglais avec les tags de catégorie, la tendance, la répartition par plateforme et les votes de la communauté ? Consultez la Inference Stack fiche complète en anglais →
WHEN DID YOU FIRST HEAR THIS?
CLICK AN OPTION BELOW TO CAST YOUR VOTE.
[ VOTE TO REVEAL COMMUNITY RESULTS ]