Avaliações eficazes e eficientes na Universidade do Texas, Campus Austin

Jen Moon é professora titular do Departamento de Biologia e Biociência Molecular da Universidade do Texas em Austin. Faz parte do Comitê de Supervisão de Educação Aprimorada por Tecnologia, que é responsável por avaliar e formular políticas em torno da educação aprimorada por tecnologia para o corpo docente, em todo o campus.

Como acadêmica, a Drª Moon gostaria de elaborar suas avaliações com o propósito de melhor entender como seus alunos desenvolvem suas habilidades ao longo dos cursos. Para ela, bem como para muitos de seus colegas, as provas discursivas eram uma opção, mas essa abordagem nem sempre foi bem-sucedida.

A acadêmica observou que “corrigir respostas abertas pode levar muito tempo, mas é um processo muito revelador e, no caso de pequenos grupos, não implicaria um desafio tão grande. No entanto, muitos de nossos cursos têm grande número de alunos matriculados. Meu maior grupo, por exemplo, tinha 200 alunos”.

Ela enfrentava, constantemente, o desafio de administrar e corrigir provas para turmas numerosas, cursos com 300 alunos por semestre, em média. Quanto mais alunos nas turmas, menos oportunidades de fornecer feedback detalhado e personalizado.

Para lidar com esse grande volume de correções, era necessário ter uma equipe de avaliadores. A Drª Moon, então, se viu diante de um novo desafio, tendo que avaliar provas de resposta curta com base em diversos avaliadores, já que esse tipo de teste é difícil de pontuar de forma consistente.

Além de gerenciar um grande volume de testes, a Drª Moon também percebeu que não tinha como acompanhar eficientemente o desempenho de uma determinada turma, ou de um aluno específico de forma detalhada. Queria aplicar uma estrutura de “design invertido” em seus cursos – primeiro, identificando metas de aprendizagem e, depois, projetando avaliações escritas para apoiar tais metas –, mas precisava fazer o acompanhamento via planilhas manuais de desempenho, aluno por aluno.

—Jen Moon, UT Austin

Para a Drª. Moon e sua equipe de avaliadores, o custo dessas ineficiências estava relacionado ao tempo gasto e às oportunidades perdidas. Tempo, em termos de logística de correção, e perda de oportunidades, quando se trata de entregar feedback oportuno e benéfico sobre as provas.

A Drª. Moon sabia que “precisavam de uma maneira mais consistente e justa de avaliar um grande volume de testes de respostas curtas que, ao mesmo tempo, permitisse fornecer aos alunos feedback útil e em um curto período de tempo”. E também, “que fornecesse métricas sobre o desempenho dos alunos em objetivos específicos de aprendizagem”.

Depois de ouvir um colega falar sobre o Gradescope, Drª Moon implementou a ferramenta no meio do semestre, visando resolver seus problemas, e “nunca mais deixou de usá-la”. Para ela, o Gradescope fornece o maior número de soluções necessárias para enfrentar os desafios relacionados a tempo e oportunidade.

As rubricas dinâmicas e a capacidade de atribuir seções específicas a diversos avaliadores ajudaram a sistematizar e agilizar o processo de avaliação. Diferentes avaliadores poderiam corrigir remotamente e, ao mesmo tempo, a Drª. Moon poderia ver as atualizações, em tempo real, de seus progressos. Além disso, com a função de agrupar perguntas, poderiam classificar as respostas dos alunos em lotes. A equipe também percebeu grande valor no suporte de tecnologia de IA para analisar automaticamente seções selecionadas de avaliações. Esses recursos ajudaram a reduzir drasticamente o tempo gasto na correção, para que os alunos pudessem receber feedback rapidamente.

Com o tempo a seu favor, Drª. Moon realocou seus esforços para resolver o desafio da oportunidade que ela já procurava remediar. Ela, agora, poderia entregar as provas corrigidas quase instantaneamente e fornecer feedback específico e personalizado para cada aluno. Como, agora, poderia trabalhar com dados individuais e por turma, também conseguiu implementar sua abordagem de “design invertido” para acompanhar o desempenho dos alunos. Ao marcar questões de avaliação com objetivos de aprendizagem, é possível acompanhar e visualizar o progresso dos alunos. Ela conseguiu identificar e rever os conceitos com os quais a turma estava tendo dificuldade e retornar com um olhar crítico sobre seus planos de aula para fazer ajustes que apoiariam imediatamente a aprendizagem dos alunos e o formato do curso.

—Jen Moon, UT Austin

A Universidade do Texas, em Austin, adotou o Gradescope para realizar dois testes piloto de avaliação de eficácia no cumprimento de seus requisitos. Começou no nível dos cursos e, em seguida, ampliou para toda a Faculdade de Ciências Naturais.

Como o piloto foi um enorme sucesso e a demanda dos professores aumentou, a UT Austin decidiu implementar o Gradescope em outros departamentos, como Biologia, Biociência Molecular, Química, Ciência da Computação, Matemática, Ciências Marinhas, Engenharia Elétrica, Gestão, Linguística, Estatística e Ciência de Dados. Atualmente, cerca de 200 professores utilizam o Gradescope em, aproximadamente, 160 cursos, fazendo a diferença para mais de 13 mil alunos.

A Drª Moon caracterizou o Gradescope como “divisor de águas”, alegando que seus níveis de estresse em relação às provas caíram significativamente. Ela ficou surpresa quando sua equipe de avaliadores disse que, para eles, a correção passou a ser uma atividade “muito divertida”, algo que ela nunca esperava ouvir. Por outro lado, seus alunos também relataram que “ficaram encantados com a rapidez com que conseguiam as notas das provas e com a clareza de seus feedbacks”. Desde que começou a usar o Gradescope, Drª Moon decidiu que nunca mais recuaria e nenhuma de suas avaliações foi realizada fora da plataforma desde então.