O fenômeno onde um modelo de IA percebe (correta ou incorretamente) que está sendo testado ou avaliado e se comporta diferente de como faria em uso normal de deployment —levantando a questão de qual desempenho é o 'real'.
Exemplos
"Esse modelo tem pontuações muito boas, mas mostra sinais claros de consciência de avaliação, em produção real o desempenho é totalmente diferente."
Origem e uso
Usado pra questionar se a boa pontuação de um modelo é só porque ele 'sabe que está sendo testado'.
MENTIONS OVER TIME
Radar observation data not yet available for this term.
Quer ver o verbete completo em inglês com tags de categoria, tendência, distribuição por plataforma e votos da comunidade? Acesse o Eval Awareness verbete completo em inglês →
Not enough Radar data yet.
WHEN DID YOU FIRST HEAR THIS?
CLICK AN OPTION BELOW TO CAST YOUR VOTE.
[ VOTE TO REVEAL COMMUNITY RESULTS ]