GID2017-1 | Estructuras de Datos y Algoritmos (INEDA)

Personalización y generación automática de explicaciones para sistemas de autoevaluación en asignaturas de programación mediante técnicas de Procesamiento del Lenguaje Natural

Resumen

La autoevaluación es fundamental en el proceso de aprendizaje, especialmente en la enseñanza a distancia. La autoevaluación permite a los estudiantes avanzar de forma autónoma y al ritmo que requieran sus circunstancias personales. El objetivo de este proyecto es personalizar el sistema de autoevaluación desarrollado en el proyecto anterior realizado por el grupo de innovación. Se ha creado una herramienta accesible en la web con la que los estudiantes pueden navegar por una ontología de conceptos relacionados con algoritmia y estructuras de datos en programación. Esta herramienta les permite acceder a ejercicios de autoevaluación relacionados con los conceptos de la ontología, así como realizar consultas automáticas que les proporcionan información sobre el tema del ejercicio obtenidas de internet.

Este sistema ha tenido una gran aceptación entre los estudiantes, que de acuerdo a encuestas específicas realizadas, así como a sus comentarios en los foros, la consideran de gran utilidad y de uso fácil.

En este proyecto nos proponemos mejorar este sistema en dos líneas principales:

1. La personalización de los ejercicios propuestos a cada estudiante.
2. La generación automática de explicaciones de cuáles son las respuestas correctas e incorrectas para los ejercicios. Esta línea es la más innovadora y puede representar una alta dificultad.

Ambos aspectos son fundamentales para mejorar la experiencia de aprendizaje.

Objetivos

En el presente proyecto se persiguen los siguientes objetivos principales:

[OBJ.1] La creación de un sistema de recomendación personalizada para el sistema de autoevaluación de los estudiantes que tenga en cuenta dos aspectos fundamentales: el historial pasado del estudiante en el uso de la herramienta, y la dificultad de los ejercicios.

[OBJ.2] Generación automática de explicaciones: Nos proponemos dotar al sistema de una utilidad que permita generar explicaciones sencillas de las razones por la que una respuesta seleccionada por el estudiante es incorrecta y de cuál es la respuesta correcta. Para ello se utilizarán técnicas avanzadas de procesamiento de lenguaje natural e inteligencia artificial.

[OBJ.3] El diseño y creación de una interfaz para el uso del recomendador que integre la navegación por la jerarquía de conceptos, la propuesta personalizada de ejercicios relacionados con el concepto seleccionado y la generación de explicaciones para el resultado de la autoevaluación.

[OBJ.4] Una evaluación preliminar del recomendador por parte de los estudiantes.

Experiencia de Innovación

La metodología seguida durante el proyecto constó de las siguientes tareas:

Migración de la herramienta de autoevaluación a la plataforma Telegram, de forma que sea accesible con facilidad y de que permita almacenar de forma anónima el historial de uso de la herramienta por parte del estudiante. Esto nos ha permitido personalizar su funcionamiento, no repitiendo cuestiones ya contestadas correctamente, y ofreciendo nuevos contenidos.

Integración en la herramienta de autoevaluación de la información necesaria para personalizar las recomendaciones en cuanto al nivel de dificultad de las consultas (en base a los resultados de exámenes de cursos anteriores), además de respecto al historial del usuario.

Definición de un formato XML para almacenar las explicaciones de retroalimentación a las cuestiones que se ha integrado en la herramienta de feedback.

Análisis de los distintos tipos de cuestiones consideradas en la herramienta de autoevaluación en función del tipo de feedback más adecuado para cada caso. En este sentido, se han realizado dos subtareas:

• Diseño y evaluación de distintos modelos de similitud semántica para extraer automáticamente explicaciones sobre las cuestiones de la asignatura a partir de textos relacionados con sus contenidos. Esto ha permitido la generación de feedback para las cuestiones teóricas.
• Generación de feedback para las cuestiones prácticas mediante la implementación de los algoritmos de la asignatura que permiten trazar su funcionamiento para los datos particulares de cada cuestión (con la colaboración de un experto externo).

Resultados obtenidos

Algunos de los resultados más relevantes y que se han recogido en las publicaciones conseguidas se refieren a un estudio de técnicas de recomendación de contenidos e investigaciones sobre la generación automática de explicaciones para las cuestiones.

Recomendación automática

Se han realizado experimentos para determinar los modelos más adecuados para recomendar contenidos, ya sean provenientes de foros de cursos anteriores o de repositorios de ejercicios de autoevaluación. La siguiente figura muestra un esquema del proceso general:

Utilizamos tres métodos diferentes para calcular la similitud entre la consulta del estudiante y los mensajes de los foros o las cuestiones de autoevaluación: el uso tradicional de bolsas de palabras, el uso de frases clave y el uso de embeddings de palabras. Previamente se han utilizado técnicas de procesamiento de lenguaje natural para la extracción de frases clave.

La siguiente tabla muestra los resultados obtenidos en la recomendación de los mensajes de los foros:

Por su parte, la siguiente tabla muestra los resultados para el caso de la recomendación de ejercicios de autoevaluación:

Vemos que en ambos casos se obtienen resultados que superan el 80% de precisión (entre las 5 primeras recomendaciones hay al menos alguna relevante para la cuestión planteada). Observamos también que la técnica de extracción de frases clave, que son expresiones que sintetizan los textos, es la que proporciona los mejores resultados.

Generación automática de explicaciones

En el marco de la generación automática de explicaciones, se han aplicado técnicas de similitud semántica para seleccionar, dentro de los textos de referencia, los párrafos más relacionados con la pregunta considerada. La similitud semántica es un proceso fundamental en el procesamiento del lenguaje natural. Su objetivo es cuantificar las relaciones semánticas entre documentos. Se han utilizado varios enfoques, aunque la tendencia actual es utilizar modelos de transformers, debido a sus buenos resultados. Los transformers representan una revolución en el área del PLN. Antes de ellos, las redes neuronales profundas ya habían propiciado avances sobresalientes en muchas tareas. Sin embargo, la riqueza semántica de los transformers es mucho mayor y, desde el primer modelo propuesto en PLN, se ha trabajado principalmente con este tipo de modelos, como BERT y GPT. Estos modelos permiten generar textos, analizarlos y responder a preguntas con gran precisión en muchos casos. El mecanismo de atención que caracteriza a los transformers permite trabajar simultáneamente sobre frases completas, en lugar de palabra por palabra. Esto permite aprender relaciones a larga distancia entre palabras y patrones entre palabras con mayor precisión que los modelos anteriores. Estos modelos permiten codificar las frases y obtener una representación condensada o densa, los embeddings, en forma de vector. La similitud semántica se calcula entonces aplicando alguna medida de similitud entre vectores, como la distancia coseno. La siguiente figura muestra un esquema del proceso seguido:

Probablemente el principal resultado del proyecto es la herramienta de que disponen los estudiantes para hacer autoevaluación y que va mejorando progresivamente. En este proyecto en particular se ha incorporado la personalización de las recomendaciones de cuestiones para practicar en función del historial del estudiante y de la dificultad objetiva de las cuestiones.

El estudio de la dificultad de las cuestiones de evaluación realizado en proyectos anteriores ha permitido considerar este aspecto en la personalización de la herramienta. Así mismo, la herramienta de autoevaluación que se comenzó a desarrollar en proyectos anteriores nos ha situado en la posición adecuada para poder abordar las mejoras de personalización llevadas a cabo en este proyecto: facilidad de acceso desde Telegram y personalización.

Como muestra la siguiente figura la herramienta se puede acceder fácilmente desde Telegram, permitiendo elegir entre los temas de la asignatura considerada con los que se quiere hacer prácticas de autoevaluación:

Una vez seleccionado un tema, se van presentando cuestiones teniendo en cuenta el historial del usuario y la dificultad de las consultas. La siguiente figura muestra un ejemplo, en el que se puede observar que se ha cuidado la presentación incluyendo imágenes cuando ha sido necesario:

La herramienta ha sido utilizada por más de 100 estudiantes para preparar la asignatura, aunque solo 12 estudiantes han contestado la encuesta sobre las mejoras introducidas en la herramienta de autoevaluación. Hay que tener en cuenta que la nueva versión con personalización de las recomendaciones no estuvo disponible hasta enero en la asignatura, que es de primer semestre.

Difusión y explotación

A continuación detallamos las publicaciones resultado de este proyecto de investigación:

www