O verdadeiro teste do MEC vai ser convencer os juízes de que a TRI funciona

Escrito en BLOGS el

A dica do texto foi de Alexandre Schneider (@aschneid_01), Secretário Municipal de Educação de São Paulo. Há políticos, mesmo entre os tucanos, que consideram a educação mais importante que o ego e as disputas partidárias. #Ficaadica

PS. E a ex-secretária executiva do MEC do governo FHC disse sobre o ENEM:

"A prova se tornou objeto de desejo muito valioso. É muito mais difícil se ter controle de todas as etapas do processo"."Eu até defendo a permanência do ministro Haddad, acho que ele foi um ministro muito bom. Ele fez um excelente trabalho, seria bom que tivesse continuidade". Maria Helena Guimarães de Castro: ex-secretária executiva do MEC (Ministério da Educação), ex-presidente do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira), ex-Secretária de Educação do governo Serra em SP.

A Folha precisa de tucano para legitimar a administração de Haddad no MEC. E você?

Por: Hélio Schwartsman: Justiça ainda não entendeu o que é o Enem HÉLIO SCHWARTSMAN, na Folha 08/11/2010

Os chamados operadores do direito (advogados, juízes, promotores, procuradores etc.) ainda não entenderam bem o que é o Enem. Se tivessem compreendido, não teriam pedido --e nem concedido-- a suspensão do exame, por desnecessária.

É fato que, pelo segundo ano consecutivo, os organizadores da prova cometeram erros. Isso depõe contra a capacidade gerencial do Ministério da Educação (MEC) e dos consórcios que confeccionam os testes, mas não afeta os modelos matemáticos que sustentam a Teoria de Resposta ao Item (TRI), na qual o Enem se baseia.

Desenvolvida nos anos 50 e 60, a TRI torna possíveis testes mais refinados, que permitem comparar alunos submetidos a provas diferentes e a performance de uma mesma instituição ao longo dos anos. Assim, em vez de anular os exames de mais de 3 milhões de estudantes, basta que o MEC ofereça gratuitamente aos cerca de 20 mil alunos que podem ter sido prejudicados a oportunidade de fazer uma nova prova nas próximas semanas.

Embora seja "apenas uma teoria" a TRI é usada há décadas com bastante sucesso em provas já consagradas como o SAT (o Enem dos EUA) e o Pisa (usado para comparar sistemas de ensino de diferentes países). A ideia central da TRI em sua versão mais simplificada é que cada questão ou item possui duas características especialmente relevantes: o grau de dificuldade e o de discriminação.

Se a pergunta for fácil, será respondida por quase todos os que estão mais preparados e por parte dos que se mostram menos preparados; se for difícil, será respondida somente por alguns dos mais hábeis. Já a discriminação traduz a eficácia com que o item distingue entre os mais e os menos competentes.

O que a TRI faz é reunir esses dois parâmetros em um modelo matemático que permite atribuir a cada candidato uma pontuação que leva em conta não só os acertos como também o grau de dificuldade de cada questão e a coerência nas respostas.

Com isso, nem todos os estudantes recebem os mesmos pontos pelos mesmos acertos. Um aluno que acertar uma questão difícil, sem ter resolvido um número razoável de outras mais fáceis, receberá por aquele acerto uma pontuação menor do que o aluno que tenha demonstrado coerência ao longo de toda a prova.

Evidentemente, o sistema precisa ser calibrado tanto para o grau de dificuldade como para o de discriminação de cada item. Uma série de testes com alunos de diferentes níveis permite a formação de grandes bancos de questões, de modo que, em princípio, não haveria grandes problemas para elaborar em poucos dias uma prova extra para os prejudicados.

Na verdade, tanto a fraude de 2009 como as falhas organizacionais deste ano poderiam ter sido evitadas se o MEC tivesse avançado mais nas possibilidades abertas pela TRI. Não há razão, por exemplo, para fazer um megaexame que envolva vários milhões de alunos --com todas as dificuldades logísticas daí decorrentes. Seria muito mais razoável organizar sete ou oito provas por ano, como, aliás, ocorre com o SAT norte-americano.

O mesmo vale para a segurança. Nada impede que o MEC elabore várias dezenas de diferentes modelos de prova. Não estamos aqui falando das mesmas questões dispostas em outra ordem, mas de exames compostos por perguntas diferentes. Se existe apenas uma chance em 50 ou 60 de um candidato a fraudador comprar a prova certa, violações de sigilo praticamente perdem valor de mercado.

Pode-se ir ainda mais longe e imaginar uma situação onde cada examinando resolva seu teste diretamente num computador. Neste caso, o sistema poderia, a partir do banco de questões, que idealmente conta com milhões de perguntas, gerar uma prova específica para cada candidato.

E isso é provavelmente o mais perto que se pode chegar de um exame à prova de fraude.

O verdadeiro teste do MEC vai ser convencer os juízes de que a TRI funciona.