Este estudo, baseado na teoria da resposta ao item, compara a validade do teste de leitura de múltipla escolha em inglês sob três modos de formulação de itens: liderado por especialistas, gerado por IA e colaboração humano-máquina, para avaliar os limites da capacidade de formatação de itens da IA e o potencial da colaboração humano-máquina. Os resultados mostram: 1) em validade de conteúdo, a prova dos especialistas apresentou o melhor desempenho, e a colaboração humano-máquina a menos satisfatória; 2) em validade estrutural, a prova dos especialistas teve a maior confiabilidade e a adequação do construto foi significativamente melhor do que a da prova colaborativa e a gerada por IA; 3) em validade criterial correlacional, apenas a prova dos especialistas teve correlação significativa com os resultados do CET-4, enquanto as provas colaborativa e de IA não demonstraram poder preditivo eficaz. O estudo constatou que o modo colaborativo “especialistas desenvolvem itens + IA gera opções” não melhorou a qualidade da formulação, levando a uma tendência de queda, sendo urgente reconstruir o paradigma de colaboração humano-máquina e explorar novos mecanismos de cooperação, como “pré-seleção por IA — otimização por especialistas”.

formulação colaborativa humano-máquina;validade;teste de leitura em inglês;múltipla escolha