GID2017-1 | Estructuras de Datos y Algoritmos (INEDA)

Técnicas Avanzadas de Procesamiento del Lenguaje Natural e Inteligencia Artificial aplicadas a la Recomendación Interactiva de Conversaciones y Actividades de Refuerzo en Asignaturas de Programación

Resumen

El objetivo principal de este proyecto es continuar con el desarrollo del recomendador de contenidos y actividades que se inició en el proyecto anterior. Las evaluaciones preliminares de los resultados del recomendador nos indican que hay varios puntos de actuación para mejorar las respuestas del sistema.

Cuando se trata de recomendar ejercicios de examen, el uso de técnicas superficiales de Procesamiento del Lenguaje Natural (PLN) se muestra suficiente. Sin embargo, al intentar aplicar las mismas técnicas para recomendar mensajes de foros anteriores, los resultados no han sido los esperados. Por ello, una de las tareas para este proyecto es investigar el uso de técnicas avanzadas de PLN (como el uso de embeddings) para mejorar la recomendación de mensajes relevantes de foros de cursos anteriores.

Para el uso del recomendador, se va a diseñar una interfaz interactiva accesible a través de la plataforma Telegram que cubra todas sus funcionalidades. Se utilizará esta interfaz para realizar la evaluación del funcionamiento del recomendador, con el fin de refinarla para que su uso sea fácil e intuitivo.

La hipótesis general que queremos evaluar es que una recomendación personalizada de contenidos y actividades como apoyo al estudio puede resultar de gran ayuda para los estudiantes. Se espera que esto sirva no sólo para mejorar los resultados de evaluación, sino también para dar respuesta de forma automática a dudas que se repiten con frecuencia curso tras curso.

Objetivos

[OBJ.1] La aplicación de técnicas avanzadas de PLN e Inteligencia Artificial (embeddings y deep learning) para mejorar la recomendación de mensajes de foros de cursos anteriores, así como la evaluación de los resultados de esta aplicación.

[OBJ.2] El uso de las técnicas anteriores para identificar de forma automática los conceptos de la asignatura sobre los que tratan los problemas y mensajes en los foros, de forma que se pueda navegar por la jerarquía de conceptos y recuperar todos los problemas (o consultas en los foros) relacionados con un concepto determinado.

[OBJ.3] El diseño y creación de una interfaz para el uso del recomendador que integre la navegación descrita anteriormente con la posibilidad de añadir una consulta. De esta manera se podría centrar la recomendación basada en contenidos en un punto determinado del temario de la asignatura.

[OBJ.4] Una evaluación preliminar del recomendador por parte de los estudiantes.

Experiencia de Innovación

La metodología seguida durante el proyecto constó de las siguientes tareas:

Estudio de aplicación de técnicas para la recomendación de mensajes de foros de cursos anteriores. Para este estudio, se comenzó preparando un corpus formado por los mensajes en los foros recopilados de cursos anteriores. Una vez que se disponía del corpus en un formato que permitía su procesamiento, se han probado diferentes técnicas para obtener recomendaciones de mensajes dada una consulta. La evaluación de la calidad de las recomendaciones se llevó a cabo por parte de los miembros del Grupo de Innovación Docente y del Equipo Docente de la asignatura involucrada (Programación y Estructuras de Datos Avanzadas). Actualmente se está trabajando en la publicación de los resultados en una revista JCR.

Herramienta Web Interactiva de recomendación de ejercicios de refuerzo. En paralelo a lo anterior, se enriqueció el corpus de ejercicios de test extraídos de exámenes anteriores, añadiendo a cada ejercicio una serie de metadatos sobre su situación en la jerarquía de conceptos de la asignatura, las frases clave extraídas del enunciado y posibles imágenes asociadas, así como cuál de las posibles respuestas es la verdadera. Al mismo tiempo, se iba realizando el diseño de la herramienta web interactiva y su desarrollo. Cada característica diseñada, se integraba en la aplicación y se comprobaba si los metadatos presentes eran suficientes o se necesitaba añadir alguno más. Una vez integrada, la aplicación era probada por los integrantes del Grupo de Innovación Docente y el Equipo Docente de la asignatura de Programación y Estructuras de Datos Avanzadas.

Evaluación de la aplicación por parte de los estudiantes. Una vez se obtuvo una versión funcionalmente completa de la aplicación, se puso a disposición de todos los estudiantes de la asignatura. Éstos pudieron utilizarla y ofrecer feedback sobre la misma a través de una encuesta en el Curso Virtual.

Análisis y difusión de los resultados. La herramienta, junto con la metodología para su construcción y los resultados de la evaluación realizada por los estudiantes han sido presentados en el congreso Educon 2022, que es el más importante en el area, y se está trabajando en su publicación en una revista JCR.

Resultados Obtenidos

La evaluación del estudio de la aplicación de diferentes técnicas de PLN e IA para obtener recomendaciones de mensajes de cursos anteriores, parece indicar que una representación de los mensajes mediante el uso de frases clave extraídas de los mismos, obtiene buenos resultados de mensajes recomendados.

Se ha desarrollado una aplicación web interactiva que presenta a los estudiantes una serie de actividades de refuerzo basadas en ejercicios de test de exámenes anteriores, organizadas según la jerarquía de conceptos de la asignatura.

Esta herramienta ha sido puesta a disposición de los estudiantes, quienes han podido rellenar una encuesta a través del curso virtual indicando su grado de satisfacción con la misma. En primer lugar, se comprobó que la gran mayoría de los estudiantes consideró que la heramienta en general y la organización de los conceptos de la asignatura mediante una jerarquía en particular, les ayudaron a mejorar su conocimiento de la asignatura.

También se pudo ver que la herramienta resultaba muy sencilla de utilizar, aunque la característica de búsqueda de páginas web relacionadas con los ejercicios o los conceptos no resultó de tanta utilidad a los estudiantes.

Por último, se pidió a los estudiantes que indicasen cuáles eran los temas en los que la herramienta les había resultado más útil y se comprobó que coincidían con los que resultaban ser más difíciles para los estudiantes.

Difusión y explotación

A continuación detallamos la publicación resultado de este proyecto de innovación:

doi: 10.1109/EDUCON52537.2022.9766389
Publisher: IEEE 2022