Quand les données d'entraînement d'un modèle incluent accidentellement (ou pas si accidentellement) les questions et réponses réelles d'un benchmark sur lequel il est ensuite évalué, gonflant son score sans refléter une réelle amélioration de capacité.
Exemples
"Ils ont découvert une contamination de benchmark quand le modèle répondait à des questions qu'il n'aurait jamais dû voir."
Origine et usage
Nommé directement par des chercheurs en IA auditant des résultats de benchmark suspicieusement élevés, empruntant « contamination » au même concept en science des données où des données de test fuitent dans l'ensemble d'entraînement.
Utilisé pour remettre en question un score de benchmark suspicieusement élevé d'un modèle.
MENTIONS OVER TIME
Vous voulez voir la fiche complète en anglais avec les tags de catégorie, la tendance, la répartition par plateforme et les votes de la communauté ? Consultez la Benchmark Contamination fiche complète en anglais →
WHEN DID YOU FIRST HEAR THIS?
CLICK AN OPTION BELOW TO CAST YOUR VOTE.
[ VOTE TO REVEAL COMMUNITY RESULTS ]