Você sabia que existe uma relação entre a maneira pela qual se mede a sua capacidade de levantar pesos e o seu desempenho em um vestibular? Isso se deve porque ambos são traços latentes, ou seja, uma característica que não se mede a partir de um único instrumento e cujo resultado depende do critério de avaliação e do modo como o teste é feito. Foi isso que demonstraram Fábio Orfali e Tadeu da Ponte, professores do Insper-Ibmec e sócio-fundadores da Primeira Escolha (companhia brasileira de avaliações educacionais), na palestra “TRI (Teoria de Resposta ao Item) e a comparabilidade de resultados em avaliações”.

A Teoria da Resposta ao Item, muitas vezes abreviada apenas por TRI, é uma modelagem estatística utilizada em medidas psicométricas, principalmente na área de avaliação de habilidades e conhecimentos, cuja aplicação mais frequente da teoria ocorre em testes de múltipla escolha. O TRI, contudo, pode abranger também testes dissertativos além de poder abarcar várias outras áreas onde se deseja obter uma medida indireta de alguma característica. Na palestra, organizada pelo Centro de Aperfeiçoamento de Ensino da Matemática (Caem), pertencente ao Instituto de Matemática e Estatística da Universidade de São Paulo (IME-USP), por exemplo, os professores fizeram uso de uma metáfora comparando provas de conhecimento com uma série de levantamento de pesos (no caso, foram separados 40 pesos de 5kg a 200kg distribuídos aleatoriamente para inferir qual a quantidade de peso que uma pessoa pode levantar).

“Se considerarmos que uma pessoa que levantou 10 dos 40 pesos e não conseguiu levantar as demais, podemos supor que ela levantou os 10 mais leves, mas isso não necessariamente está correto, pois ela pode levantar 52kg, falhar ao levantar o peso de 45kg e sua capacidade real de levantar peso seja de 58kg”, disse o professor Fábio Orfali. “Da mesma forma, um aluno pode acertar 50 questões de 100, não necessariamente as mais fáceis, podendo errar questões fáceis e acertar as mais difíceis”, completou. Além disso, deve-se considerar o “efeito fadiga”, que diz respeito ao cansaço que o indivíduo (seja ele o estudante ou um possível atleta no caso citado) sente ao longo de uma prova, que influencia no desempenho do teste aplicado.

Nesse sentido, é possível concluir que a forma como o teste é feito também influencia o desempenho e, portanto, o resultado dos alunos em testes vestibulares. “O escore verdadeiro de um aluno num teste é o escore observado no teste mais um erro, produzido pelo critério de avaliação deste teste”, disse Tadeu da Ponte. O TRI é importante porque permite definir a confiabilidade ou consistência de uma medida de traço latente (característica que não se mede a partir de um único instrumento) e por usar ferramentas estatísticas para controlar esse erro.

As duas maneiras mais comuns de evitar que esse resultado do teste não seja tão afetado pelo critério de avaliação são a de aumentar o número de questões (o que o Enem faz, por exemplo) ou distribuir pesos diferentes para as questões mais difíceis. “Existe, nesses casos, dois problemas: aumentar o dano do ‘efeito fadiga’ se aumentarmos demasiadamente o número de questões, o que acaba por influenciar na decisão do aluno em ‘chutar’ ou não uma questão, podendo anular a distribuição de pesos diferentes em questões de múltipla escolha, modalidade de teste mais usada nos vestibulares do país”, completou Tadeu da Ponte.