Toute la chaîne d'infrastructure -matériel, runtime et couches logicielles- qu'une requête traverse pour obtenir une réponse d'un modèle IA.
« stack d'inférence » est une traduction reellement utilisee dans les communautes francophones en ligne, pas seulement un calque de dictionnaire.
Exemples
"L'équipe a passé une semaine entière à profiler le stack d'inférence avant de trouver le goulot d'étranglement."
Origine et usage
Repris directement du vocabulaire d'infrastructure ML, à mesure que les développeurs devaient comprendre d'où venait réellement la latence ou le coût.
Utilisé pour diagnostiquer à quelle couche exacte on perd des millisecondes ou de l'argent.
MENTIONS OVER TIME
Radar observation data not yet available for this term.
Vous voulez voir la fiche complète en anglais avec les tags de catégorie, la tendance, la répartition par plateforme et les votes de la communauté ? Consultez la Inference Stack fiche complète en anglais →
Not enough Radar data yet.
WHEN DID YOU FIRST HEAR THIS?
CLICK AN OPTION BELOW TO CAST YOUR VOTE.
[ VOTE TO REVEAL COMMUNITY RESULTS ]