S01-16 15

Evaluación de la formación del docente con apoyo de la IA: una experiencia en el Máster Universitario en Tecnología Educativa y Competencias Digitales

Compartir en TWITTER/FACEBOOK/LINKEDIN

Deja tu comentario

Participa en esta ponencia enviádole tu pregunta o comentario a los autores

Añadir comentario

Firmantes

profile avatar
Inés María González VidalUniversidad Internacional de La Rioja
profile avatar
Rafael Sánchez CamachoUniversidad Internacional de la Rioja

Enfoque

La variedad de herramientas de Inteligencia Artificial Generativa (IAG) disponibles en Internet, ha supuesto un cambio de paradigma educativo. El incremento de su participación en todas las áreas de conocimiento genera un amplio debate sobre sus implicaciones en la educación, lo que exige una reflexión profunda para garantizar su adecuada integración. Por otro lado, el auge mundial de los entornos virtuales de enseñanza visualizan la necesidad de nuevos métodos de evaluación a partir de las actuales tendencias tecnológicas y el uso de la IAG. Este estudio pretendió analizar la evaluación de la formación del docente con apoyo de la IAG, aplicado al Máster Universitario en Tecnología Educativa y Competencias Digitales de la Universidad Internacional de La Rioja. Para ello, se declara un estudio piloto que sienta las bases para futuras investigaciones. Se analizó una actividad de Foro en la asignatura “Programación y Robótica para Docentes” del Máster Universitario en Tecnología Educativa y Competencias Digitales de la Universidad Internacional de La Rioja. Se realiza un estudio comparativo de dos cuatrimestres en el cual la evaluación se realiza primero de forma tradicional y en el segundo con apoyo de IAG. Se analizaron un total de 468 intervenciones en el foro. Los resultados muestran que existe una correlación positiva entre el coeficientes de correlación biserial puntual entre “Uso de herramientas IAG para realizar la evaluación” y las demás variables. La herramienta Copilot ofreció nuevas oportunidades para mejorar la eficiencia y la efectividad de la evaluación además la percepción de calidad de los estudiantes en las actividades de foro virtual realizadas por el docente mejoró en todos los parámetros analizados.

Preguntas y comentarios al autor/es

    • profile avatar

      Lourdes Mendieta Lucas

      Comentó el 01/10/2024 a las 02:04:40

      Interesante ponencia, felicitaciones. Desde mi punto de vista, el uso de herramientas de Inteligencia Artificial Generativa (IAG) en la evaluación educativa ofrece una oportunidad interesante para aumentar la eficiencia y mejorar la percepción de calidad de los estudiantes en entornos virtuales. Desde su experiencia, ¿cómo se podrían adaptar estas herramientas de IAG para que no solo mejoren la eficiencia de la evaluación, sino también promuevan una mayor personalización del feedback para los estudiantes? Además, ¿qué desafíos éticos y metodológicos cree que podrían surgir a medida que las herramientas de IAG se integren cada vez más en los procesos de evaluación educativa?

      • profile avatar

        Rafael Sánchez Camacho

        Comentó el 01/10/2024 a las 09:56:28

        Estimada Lourdes,

        Muchas gracias por tus palabras. Mi compañera Inés y yo compartimos tu visión sobre el potencial que estas herramientas tienen para mejorar la eficiencia en la evaluación educativa.

        Respecto a tu primera pregunta, creemos que las herramientas de IAG tienen un gran potencial para ofrecer un feedback más personalizado a los estudiantes, siempre que se adapten adecuadamente. Es decir, una estrategia efectiva podría ser combinar el análisis de grandes volúmenes de datos con algoritmos diseñados para identificar necesidades individuales o conceptos concretos en las intervenciones y poder desarrollar patrones de respuesta con respecto a esa "base de datos de palabras". De este modo, el feedback puede ser más detallado y ajustado a las características e intervenciones de cada estudiante, lo que podría traducirse en una respuesta significativa e individualizada para el estudiante. En nuestro estudio, la percepción de los estudiantes de las respuestas dadas por los docentes con el uso de la IAG fue más satisfactoria que en las respuestas sin su uso. Esta percepción incluye aspectos como la sensación de atención del Foro o las orientaciones recibidas en la corrección de las actividades. Creemos que este es un aspecto en el que se debe seguir profundizando.

        Por otro lado, es imprescindible tener en cuenta los desafíos éticos y metodológicos que mencionas. Como hemos mencionado en otras intervenciones, uno de los principales desafíos éticos radica en el sesgo inherente de la IAG, pudiendo afectar la equidad de las evaluaciones si no se maneja adecuadamente. Además, es crucial considerar la transparencia en el proceso evaluativo, garantizando que tanto docentes como estudiantes comprendan cómo y por qué se generan ciertas recomendaciones o calificaciones. Desde un punto de vista metodológico, también se plantea el reto de asegurar que los resultados proporcionados por la IAG sean precisos y reflejen de manera justa el rendimiento de los estudiantes, sin que la tecnología sustituya la valoración crítica y cualitativa que un docente experimentado puede proporcionar. Por ello, es imperativo que el uso de la IAG en la evaluación no suponga la sustitución de la labor docente, sino que sea una herramienta que sirva para agilizar el proceso en ciertos contextos como pueden ser los foros.

        Espero haber abordado tus preguntas y quedo a tu disposición. Gracias nuevamente por tu intervención.

        Un cordial saludo,

      • profile avatar

        Inés María González Vidal

        Comentó el 20/10/2024 a las 18:42:27

        Gracias por tu pregunta, Lourdes. La integración de herramientas de Inteligencia Artificial Generativa (IAG) en la evaluación educativa tiene un enorme potencial para personalizar la retroalimentación y mejorar la experiencia de aprendizaje. Para lograrlo, las herramientas de IAG podrían: 1)Analizar las respuestas individuales de los estudiantes para brindar retroalimentación específica en función de sus fortalezas y áreas de mejora. 2) Adaptar las evaluaciones en tiempo real, ajustando el nivel de dificultad en función del desempeño de los estudiantes. Y 3) Ofrecer ejemplos personalizados y recursos adicionales para ayudar a los estudiantes a comprender mejor los conceptos difíciles. Sin embargo, la implementación de estas herramientas también presenta desafíos éticos y metodológicos, como la privacidad y seguridad de los datos, la transparencia y el sesgo, y la dependencia de la tecnología. Para mitigar estos desafíos, es fundamental desarrollar políticas claras y marcos éticos que guíen el uso de la IAG en la educación, así como una capacitación continua para educadores y estudiantes en el uso eficaz y seguro de estas herramientas.

    • profile avatar

      Rafael Sánchez Camacho

      Comentó el 27/09/2024 a las 12:48:46

      Hola todos, gracias por visitar nuestra ponencia y contribuir a la mejora con vuestras aportaciones y preguntas.

      A mi compañera Inés y a mi nos gustaría destacar un aspecto especialmente interesante y relevante que emergió de nuestro estudio.

      Nos gustaría destacar el impacto positivo que tuvo en la percepción de los estudiantes en la calidad de las respuestas proporcionadas por los docentes con el uso de la IAG. Los resultados arrojaron una mayor satisfacción por parte de los alumnos en la calidad de las evaluaciones recibidas y el resto de parámetros evaluados (sensación de atención del Foro con regularidad, orientaciones en la corrección de las actividades y plazos de corrección). Esto sugiere que la integración de este tipo de herramientas puede enriquecer significativamente la interacción entre docente y estudiante.

      Lo interesante de estos resultados es que los estudiantes percibieron esta mejora sin ser conscientes de la implicación de la IAG en el proceso, lo que plantea una cuestión fundamental sobre la capacidad de estas tecnologías para optimizar el proceso evaluativo de manera casi imperceptible, pudiendo evitar generar desconfianza o resistencia. En escenarios como los foros virtuales, donde la comunicación suele ser asincrónica, la IAG puede actuar como un apoyo invisible que aumenta la precisión, relevancia y rapidez en las respuestas.

      Este hallazgo nos invita a reflexionar sobre las posibilidades de utilizar estas tecnologías de forma estratégica, asegurando que su implementación mejore la experiencia de aprendizaje sin que los estudiantes sientan desinterés o desconexión por parte de los docentes. Esto refuerza la idea de que, cuando se aplica correctamente, la IAG puede integrarse de manera fluida, aportando un valor añadido sin sustituir el rol fundamental del docente en el proceso formativo.

    • profile avatar

      Fulgencio Sánchez Vera

      Comentó el 27/09/2024 a las 10:30:41

      Buenos días, enhorabuena por vuestro trabajo. Me gustaría conocer vuestra opinión sobre las limitaciones y riesgos que tiene una evaluación guiada por la IA, cuando sabemos que esta presenta sesgos, errores y alucinaciones.

      • profile avatar

        Rafael Sánchez Camacho

        Comentó el 27/09/2024 a las 11:35:12

        Buenos días, Fulgencio. Muchas gracias por tu felicitación y por tu pregunta.

        Es cierto que el uso en general de la IA plantea desafíos considerables, y que la evaluación no está exento de ello. Cuando utilizamos la herramienta todos hemos podido comprobar esos sesgos, errores y "alucinaciones" que mencionar en las respuestas generadas por la IA. Somos conscientes de que, aunque la IAG tiene un gran potencial para agilizar y personalizar procesos educativos, también puede perpetuar sesgos implícitos que se derivan de los datos con los que ha sido entrenada. Estos sesgos pueden influir en muchos factores como puede ser la equidad de las evaluaciones, por ejemplo, y, en consecuencia, afectar negativamente a determinados grupos de estudiantes.
        Frente a esta "falta de precisión o respuestas alucinadas" debe de entrar en juego el rol del docente y su control en el contenido que se genera, porque si nos limitamos a "copiar y pegar" la respuesta generada se pueden comprometer la validez de las evaluaciones y otros aspectos quizá más significativos, como puede ser la confianza en el docente y en el desempeño de sus funciones. Por ello, creemos firmemente que la IA debe utilizarse como una herramienta complementaria y no como un sustituto absoluto del juicio docente. Es esencial contar con mecanismos de supervisión y revisión constante para mitigar estos riesgos, y garantizar que la IA sirva como un apoyo, no como un reemplazo en los procesos evaluativos.

        Agradecemos tu reflexión.

        Un saludo cordial.

    • profile avatar

      Elton Barrantes Requejo

      Comentó el 27/09/2024 a las 06:54:06

      Buena ponencia, felicitaciones. En efecto, el uso de la IA en la evaluación ofrece ventajas en términos de eficiencia y reduce el tiempo de dedicación del docente, lo cual me parece muy bien. Pero, al mismo tiempo ofrece preocupación entorno a la idoneidad de las respuestas, también preocupa los sesgos de la IA cuando no está bien entrenada. Mi pregunta es, ¿han tenido alguna experiencia de evaluación síncrona con ayuda de la IA?

      Saludos

      • profile avatar

        Inés María González Vidal

        Comentó el 27/09/2024 a las 09:32:32

        Muy interesante tu pregunta Elton. Una experiencia de evaluación síncrona con ayuda de la IA implica realizar evaluaciones en tiempo real, donde la inteligencia artificial proporciona retroalimentación instantánea, monitorea las respuestas de los estudiantes y ajusta dinámicamente la dificultad de las preguntas. Todo ello, con el fin de mejorar la eficiencia y calidad de las evaluaciones, ofreciendo una experiencia más interactiva y personalizada tanto para docentes como para estudiantes. Mi experiencia personal se enmarca en los sistemas de hipermedia adaptativa aplicados a la educación para la personalizan el contenido educativo según las necesidades y preferencias del estudiante. Para ello, se utilizan datos sobre el comportamiento y el progreso del alumno para ajustar la presentación de la información, facilitando un aprendizaje más eficiente y personalizado. En cuanto a las experiencias de evaluación síncrona con ayuda de la IAG representan un área prometedora para la investigación futura.

    • profile avatar

      Javier Álvarez-Otero

      Comentó el 26/09/2024 a las 23:21:24

      ¡Felicidades por este innovador estudio! Su investigación aborda de manera ejemplar un tema crucial para la educación actual y futura: la integración de la Inteligencia Artificial Generativa en la evaluación docente. Los resultados que muestran una mejora en la eficiencia y la percepción de calidad gracias al uso de IAG como Copilot son realmente prometedores y abren nuevas posibilidades para la evaluación educativa.
      Mi pregunta es: ¿Qué desafíos o resistencias encontraron por parte de los docentes al utilizar herramientas de IAG en la evaluación, y qué estrategias consideran efectivas para facilitar su adopción en el proceso formativo?
      Gracias por su aporte a este campo tan relevante y en constante evolución.

      • profile avatar

        Inés María González Vidal

        Comentó el 27/09/2024 a las 09:13:11

        Hola a todos, gracias Javier por tu pregunta. En la actualidad los docentes enfrentan desafíos como la desconfianza en la tecnología, falta de formación, preocupaciones éticas y resistencia al cambio al usar herramientas de inteligencia artificial generativa (IAG) en la evaluación. Para facilitar su adopción, se recomienda ofrecer capacitación continua, apoyo institucional, promoción de buenas prácticas, políticas claras sobre ética y privacidad, y fomentar una cultura de innovación.

      • profile avatar

        Rafael Sánchez Camacho

        Comentó el 27/09/2024 a las 11:45:58

        Hola Javier, gracias por tus palabras y por tu pregunta.

        Creo que el primer punto que debemos abordar es la resistencia al cambio. El cuerpo de docentes debe aceptar que esta herramienta ha venido para quedarse por las infinitas posibilidades que ofrece en todos los ámbitos, incluido la educación. Esta resistencia puede deberse al factor de los llamados "migrantes digitales", a una falta de confianza en la tecnología debido a su relativa novedad y los posibles errores que puede cometer, o la percepción de que la IA podría reemplazar el juicio y las labores profesionales del ser humano.

        Para superar estas barreras y tal y como comenta mi compañera, consideramos fundamental implementar programas de formación continua que enseñen el uso técnico de las herramientas de IAG y que refuercen e introduzcan el pensamiento computacional como base conceptual. Esta formación permitiría a los docentes entender mejor cómo funcionan estas tecnologías, cuáles son sus limitaciones y, sobre todo, cómo aprovecharlas de manera crítica y consciente para mejorar su labor.

        Además de lo anteriormente mencionado, un aspecto clave es capacitar a los docentes en el uso correcto de prompts. Enseñar a formular preguntas adecuadas y diseñar interacciones precisas con las herramientas de IAG puede marcar la diferencia en la calidad de los resultados que se obtienen y con ello, la percepción del docente en la efectividad e implementación de la herramienta. Creemos que, con el conocimiento adecuado, los docentes pueden adoptar una postura más activa y crítica frente a la IAG, viéndola como una herramienta que amplía sus capacidades en lugar de amenazarlas.

        En definitiva, la adopción efectiva de estas herramientas requiere de dos aspectos fundamentales: la disposición a experimentar con ellas, y una sólida alfabetización digital y computacional y adquisición de competencias digitales. A largo plazo, estas estrategias pueden facilitar una integración equilibrada y eficaz de la IA en la evaluación educativa.

        De nuevo, agradecemos tus palabras y estamos abiertos a seguir discutiendo posibles enfoques y soluciones.

        Un cordial saludo.

    • profile avatar

      Inés María González Vidal

      Comentó el 26/09/2024 a las 12:30:39

      Hola a todos, gracias Javier por tu pregunta. La integración de herramientas de Inteligencia Artificial Generativa (IAG) en la evaluación de actividades de foro virtual puede enfrentar desafíos como sesgos en los algoritmos, transparencia limitada y dependencia tecnológica. Para mitigar estos problemas y asegurar la equidad y transparencia, se pueden implementar medidas como el desarrollo de directrices éticas, pruebas de sesgo, capacitación del docente y diversificación de perspectivas.

    • profile avatar

      Javier Jiménez Flores

      Comentó el 26/09/2024 a las 12:02:39

      Gracias por la interesante ponencia. Mi pregunta sería: Dado que los resultados muestran una mejora en la percepción de calidad de las actividades de foro virtual evaluadas con el apoyo de herramientas IAG como Copilot, ¿qué desafíos podrían surgir en cuanto a la objetividad y fiabilidad de la evaluación basada en IAG en comparación con la evaluación tradicional? Además, ¿qué medidas podrían implementarse para garantizar que la integración de IAG en la evaluación no afecte negativamente la equidad y la transparencia en el proceso educativo?

      • profile avatar

        Inés María González Vidal

        Comentó el 27/09/2024 a las 09:43:11

        Hola Javier, la evaluación basada en IAG enfrenta desafíos en cuanto a objetividad y fiabilidad, falta de transparencia, carecen de la interacción humana necesaria para evaluar habilidades interpersonales y emocionales. Estos factores pueden afectar la equidad y la confianza en los resultados de las evaluaciones. De ahí, la importancia de validar continuamente la fiabilidad de las evaluaciones y complementar la IAG con la intervención humana.

      • profile avatar

        Rafael Sánchez Camacho

        Comentó el 27/09/2024 a las 12:08:12

        Hola, Javier. Gracias por tu comentario, es una de las primeras preguntas que nos surgen cuando hablamos de IAG. Nos alegra que plantees este tema con tanta precisión.

        Con respecto a la objetividad y fiabilidad de la evaluación, es cierto que estos sesgos, si no se gestionan adecuadamente, podrían influir en los resultados y comprometer del proceso evaluativo. Como primera reflexión con respecto a estos planteamientos se debe valorar si las evaluaciones pueden ser más objetivas y más fiables, ya que la IAG valoraría los parámetros indicados en el promt por parte del docente (normalmente, una rúbrica de evaluación). Debemos continuar en nuevas líneas de estudio que permitan dar una respuesta más concreta a estos aspectos.

        Con respecto a la segunda pregunta que planteas, consideramos que para mitigar estos desafíos, se debe tener en cuenta estos aspectos:

        1- Supervisión humana del contenido generado.
        2- Formación continua del docente.
        3- Entrenamiento de la IA para minimizar los sesgos estructurales presentes en la sociedad.

        Por otro lado, un aspecto que consideramos interesante en nuestro estudio es que la percepción de calidad de las respuestas del docente por parte de los estudiantes mejoró en todos los parámetros analizados. Los estudiantes percibían una diferencia significativa en la calidad de las evaluaciones, lo que nos llevó a reflexionar sobre cómo la IAG puede integrarse de manera fluida y efectiva sin generar desconfianza o resistencia, siempre que se use de forma responsable en contextos como puede ser un foro virtual.

        En definitiva, para nosotros fue clave ver que el valor de la evaluación no reside tanto en el uso de la tecnología en sí, sino en cómo se utiliza para complementar el juicio experto del docente. Esto refuerza la importancia de un enfoque equilibrado en el que la IAG sirva de apoyo y no de reemplazo.

        Te agradecemos enormemente tus preguntas.

        Un cordial saludo.


Deja tu comentario

Lo siento, debes estar conectado para publicar un comentario.

Organizan

Colaboran

Configuración de Cookies

Utilizamos cookies para mejorar su experiencia y las funcionalidades de esta web. Ver política de cookies

Revisar