É possível haver erros em uma correção por IA?
Os pesquisadores do CRIA realizaram diversos experimentos solicitando que alguns professores especialistas em redações padrão ENEM corrigissem um mesmo grupo de 50 textos. O resultado foi chocante, pois entre os dez professores que corrigiram esse mesmo conjunto de redações havia uma diferença de até 30% em relação a nota fornecida pelo outro professor.   Na maioria dos casos as avaliações humanas diferiram entre 40, 80 e 120 pontos. Ainda assim, tivemos os seguintes casos: houve um professor que atribuiu nota 480, outro docente 600 e para esta mesma redação um terceiro professor atribuiu nota 720.  Assim como os professores apresentaram divergências em suas interpretações, a Inteligência Artificial também terá variações, especialmente porque ela se baseia em correções humanas para aprendizado.  Mesmo assim, estamos constantemente avaliando a precisão dos modelos do CRIA, comparando suas notas com as dos professores. Após os alunos enviarem suas redações para os professores (um processo que ocorre nas escolas parceiras do CRIA), estamos mantendo uma precisão em relação aos especialistas de 90%.