Garantindo a integridade dos testes na era do ChatGPT [v2.0]

Os exames online são o futuro das avaliações, pois oferecem maior flexibilidade, acessibilidade e precisão em comparação com os métodos de teste tradicionais. Os testes online podem ser administrados em grande escala sem a necessidade de centros de teste ou viagens, tornando mais fácil e econômico para instituições e empresas atingirem um público mais amplo. Eles também permitem a integração de várias ferramentas baseadas em tecnologia, proporcionando uma experiência de exame mais envolvente e interativa.

No entanto, com o aumento dos testes online, surge o desafio de garantir a honestidade desses exames. Os alunos podem recorrer a métodos não autorizados para passar nos testes online, ameaçando a validade dos resultados. O surgimento de modelos de linguagem de IA como o ChatGPT levantou mais preocupações sobre o potencial de trapaça e a necessidade de medidas para proteger a integridade das avaliações online.

O ChatGPT, como outros modelos de linguagem de IA, tem o potencial de representar uma ameaça à integridade de certos tipos de avaliações online. No entanto, é essencial observar que nem todas as formas de avaliação online são igualmente vulneráveis a essa ameaça. Avaliações que exigem respostas complexas e detalhadas, como as que exigem raciocínio de ordem superior, são menos vulneráveis a trapaças com o ChatGPT. Essas avaliações exigem que os alunos demonstrem sua compreensão do material de maneira mais sutil e contextualizada, tornando difícil para o ChatGPT gerar respostas precisas e coerentes. Além disso, as ferramentas de supervisão online podem ser eficazes na defesa contra a ameaça do ChatGPT nos exames. Essas ferramentas usam uma combinação de tecnologias, como monitoramento de vídeo e áudio e análise de cursor/tecla, para detectar comportamentos suspeitos durante um exame online. Isso inclui o monitoramento do uso de máquinas virtuais ou outro software que possa ser usado para executar o ChatGPT.

A Mercer | Mettl aplica uma abordagem multifacetada para manter a inviolabilidade das avaliações online que incorpora soluções tecnológicas e medidas de design de teste.

Algumas estratégias usadas para reduzir os riscos de trapaça são:

A Taxonomia de Bloom é uma estrutura usada para categorizar metas e objetivos de conhecimento. A taxonomia é projetada para ajudar a avaliar os objetivos de aprendizagem em diferentes níveis de complexidade. É uma estrutura para categorizar metas e objetivos de conhecimento.

A Mercer | Mettl implementa uma versão personalizada da estrutura de taxonomia de Bloom para o desenvolvimento de seus bancos de perguntas. As avaliações que exigem habilidades de pensamento de ordem superior (HOTS) envolvem processos cognitivos críticos, criativos e complexos, além da simples memorização ou compreensão de informações. Embora modelos de IA como o GPT-4 possam exibir algumas dessas habilidades, suas habilidades geralmente são limitadas em comparação com os humanos.

Por exemplo, o GPT-4 pode gerar um texto que parece analítico ou crítico, mas pode carecer de compreensão ou percepção verdadeira. Além disso, os modelos de IA podem enfrentar tarefas que exigem síntese ou avaliação de informações além de seus dados de treinamento. No entanto, é essencial reconhecer que os recursos de IA estão melhorando continuamente, e modelos futuros podem abordar melhor alguns desses desafios.

A Mercer | Mettl oferece um amplo conjunto de ferramentas de monitoramento remoto on-line com tecnologia de IA para garantir exames sem trapaça. Essas ferramentas analisam os conjuntos de imagens, vídeo e áudio dos usuários para levantar alertas em caso de atividades suspeitas ou incomuns, como uma pessoa adicional no quadro, o usuário se afastando da janela do teste, um telefone celular detectado, o participante do teste não estar visível, etc.

Os alertas são combinados em um elemento de relatório chamado ‘Índice de credibilidade’, que processa os dados dos participantes do teste e os categoriza em níveis de credibilidade baixo, médio e alto. 

Os revisores podem ver as gravações de vídeo nos relatórios para observar as instâncias em que a IA sinalizou especificamente o comportamento suspeito. Todas essas informações também estão disponíveis para os fiscais em caso de supervisão ao vivo e permitem que eles tomem medidas corretivas, como conversar com os examinandos, pausar e até encerrar o teste.

Clique aqui para saber mais sobre as soluções de monitoramento da Mercer | Mettl

A melhor maneira de evitar que os usuários obtenham uma vantagem injusta em uma avaliação online é restringindo seu acesso a várias ferramentas e fóruns online durante a avaliação.

A Mercer | Mettl permite que você execute uma verificação de 360 graus dos ambiente do usuário antes e durante a avaliação para garantir que nenhum material de ajuda ou pessoa esteja por perto. A Mercer | Mettl também oferece um navegador seguro de última geração que ajuda a aplicar avaliações em um ambiente altamente seguro e protegido, evitando que o usuário navegue em outras janelas. 

Depois que os usuários iniciam suas avaliações por meio desses aplicativos, a tela é colocada em um modo de bloqueio que evita qualquer outra atividade. O navegador seguro está disponível para todas as plataformas populares em computadores e dispositivos móveis.

Clique aqui para saber mais sobre o navegador seguro.

A Mercer | Mettl implementa soluções de plágio para detectar se os envios feitos pelos usuários durante as avaliações são plagiados. A detecção de plágio de código envolve várias abordagens, incluindo o uso da Medida de Similaridade de Software (MOSS).

Para poder detectar códigos gerados por ferramentas de IA, como ChatGPT, com mais eficiência, nós da Mercer | A Mettl estamos desenvolvendo um sistema avançado de detecção de plágio de código baseado em IA de próxima geração. Isso estará disponível em breve para nossos usuários corporativos.

A Mercer | Mettl oferece a você a capacidade de realizar entrevistas remotas ao vivo online. Durante uma entrevista ao vivo, um entrevistador pode fazer perguntas abertas e avaliar as respostas do usuário virtualmente, verificando seus conhecimentos e habilidades.

Com recursos de programação de par ao vivo, você pode avaliar a competência de programação dos usuários em tempo real.

Além disso, entrevistas online ao vivo podem ajudar a identificar qualquer comportamento incomum ou padrões suspeitos, como falta de contato visual, longas pausas antes de responder e colagem da área de transferência ou movimento do cursor nas guias do navegador, o que pode indicar o uso de recursos externos como o ChatGPT.

O ChatGPT, como um modelo de linguagem IA, tem o potencial de impactar nossas vidas de várias maneiras positivas. Ele pode facilitar a comunicação aprimorada, personalizar interações, automatizar tarefas, fornecer recursos educacionais valiosos e contribuir para discussões contínuas sobre ética e responsabilidade no uso da IA.

No entanto, é importante considerar as potenciais implicações negativas de seu uso e trabalhar para mitigar esses riscos por meio de práticas responsáveis e éticas.