LabDER - Laboratório Virtual de Ensino-Aprendizagem de Banco de Dados Relacionais: Uma abordagem de avaliação automática de Diagramas ER e SQL

Palavras-chave: bases de dados,diagramas de entidade e relacionamento,avaliação automática,ambiente virtual,métricas,compiladores,aprendizagem computacional,database,automatic assessment,metrics,entity-relationship diagram,virtual learning environment,compilers,machine learning

A procura de profissionais de informática da área de Bases de Dados tem crescido recentemente e superado as projeções mais otimistas. Esse aumento pressiona as instituições de ensino a oferecer especialistas no domínio. Neste contexto, surgem cursos de Base de Dados com muitos alunos que requerem demasiados recursos humanos para acompanhar as atividades práticas de laboratório, sendo os ambientes virtuais de avaliação automática um forte aliado na resolução desse cenário. Entretanto, são raras as instituições que possuem ambientes virtuais para o ensino de bases de dados que automaticamente avaliem as respostas dos alunos, especificamente respostas diagramáticas. As abordagens existentes de avaliação automática possuem uma série de problemas, que resultam em sistemas que mostram apenas um feedback correto ou incorreto, e não permitem aos alunos aprimorarem a solução.  O trabalho descrito nesta tese investigou como avaliar automaticamente diagramas de entidade e relacionamento que pudessem ser aplicados no contexto das disciplinas introdutórias de Bases de Dados em cursos de licenciatura em informática. O projeto seguiu a metodologia de investigação Design-Science Research, onde primeiramente foram identificados os problemas das abordagens de avaliação automática, como (a) interface restritiva, (b) resposta restritiva, (c) destaques visuais, (d) notação restritiva, (e) avaliação sem equivalência, (f) feedback inadequado, e (g) feedback estático. O método seguiu um processo interativo de definição dos objetivos, métodos e procedimentos que levaram a propor soluções para automatizar a avaliação de diagramas no contexto de ensino e aprendizagem de bases de dados relacionais. Como resultado dessa investigação foi obtido um ambiente virtual de ensino de bases de dados relacionais, denominado LabDER, que avalia automaticamente as respostas dos alunos. O LabDER automatiza a avaliação de diagramas de entidade e relacionamento, SQL, questões de escolha múltipla e de texto livre. Diferente de outras abordagens, o LabDER fornece um feedback semântico com a nota final do aluno baseado em técnicas de compilador, métricas de engenharia de software e aprendizagem computacional. Essa abordagem inspira o aluno a procurar a melhor resposta, ou seja, ajuda-o a encontrar a resposta estimada ou superior à solução do sistema.  O ambiente LabDER passou por um minucioso processo de verificação e validação através de testes de funcionalidade, desempenho e usabilidade, e foi usado satisfatoriamente por 322 alunos e 8 professores de universidades do Brasil, Colômbia, Portugal e Índia. Cerca de 98% dos utilizadores aceitaram a usabilidade do sistema e 95% avaliaram o sistema como melhor imaginável na escala System Usability Scale. Garante também uma avaliação automática com tempo de resposta médio de menos de 1 segundo para 500 utilizadores em simultâneo.  Foi recolhida uma base de dados com mais de 40 mil respostas, das quais 5 mil foram tratadas para ter dados suficientes de treino de modelos preditivos de diagramas de entidade e relacionamento. As questões expostas aos alunos foram cuidadosamente construídas, seguindo o plano de ensino do professor e distribuídas ao longo do semestre letivo em seis universidades com diferentes níveis de complexidade. O modelo preditivo com uma precisão acima de 90% foi obtido seguindo a metodologia CRISP-DM, após uma análise de 2.700 modelos. A abordagem de avaliação automática do LabDER oferece as seguintes vantagens: (a) aceita várias respostas corretas por questão; (b) prevê as notas finais de cada resposta do aluno, baseado no modelo preditivo que mede a distância entre a resposta do aluno e a resposta do professor pelas métricas, (c) ajuda a identificar o erro da solução submetida pelo feedback que associa erros a conceitos de BD; (d) oferece ao aluno a opção de refazer a solução; (e) oferece ao professor um sistema que pode ser usado em avaliações diagnósticas, formativas e sumativas. No futuro, espera-se que esta abordagem possa ser adaptada para avaliar outros tipos de diagramas e linguagens de programação.

Área científica: Ciências da Engenharia e Tecnologias