Por: José Andrés Martínez Silva
Director General de Estudio Elefante
Si tiene algún comentario o sugerencia agradecemos nos lo haga saber a través del correo info@estudielefante.co
Somos Estudio Elefante. ¡La fuerza detrás de las grandes ideas!
¿Podemos cambiar la situación?
La experiencia que hemos vivido en los procesos de profesionalización docente que acompañamos desde Estudio Elefante nos demuestra que todos los semestres los profesores viven una historia similar. Durante las primeras semanas se esmeran en que los estudiantes avancen en las rutas de aprendizaje que han definido, diseñan e integran nuevos recursos y se esfuerzan por adoptar metodologías activas que promuevan ese rol protagónico en el aprendizaje que deben tener los estudiantes.
Luego llega el momento de evaluar el aprendizaje y reportar las calificaciones al sistema, algo para lo cual, nunca cuentan con el tiempo suficiente. Por supuesto, al abordaje técnico de un proceso evaluativo los lleva a definir cada vez mejores instrumentos para la evaluación y en términos generales consiguen definir e implementar estrategias mucho más efectivas que las que tenían en un comienzo, sin embargo el proceso continúa siendo arduo y cuando se trata de un profesor que debe evaluar no a 20 sino a 150 estudiantes, la situación conduce a lo que generalmente se reconoce como burnout o agotamiento profesional.
Esta situación puede cambiar radicalmente gracias a las herramientas de Inteligencia Artificial de las que disponemos hoy en día.
Veamos un ejemplo práctico
El Contexto:
Supongamos que usted se encuentra a cargo del módulo de metodologías activas de enseñanza en una ruta de profesionalización docente (como es el caso del autor de esta columna) y supongamos que ha planteado a los profesores con los que trabaja el reto de diseñar para sus asignaturas una sesión basada en los 4 pilares del aprendizaje invertido. Usted les ha entregado dos insumos guía para desarrollar su trabajo:
En primer lugar, y como un insumo esencial, brinda una serie de preguntas orientadoras que deben responder los profesores para concretar la planeación de la sesión de aprendizaje invertido.
¿A cuál o cuáles de los Resultados de Aprendizaje (RA) definidos para su asignatura considera que podría asociar la metodología de Aprendizaje Invertido?
¿De qué manera va a evaluar los aprendizajes construidos por los estudiantes para determinar si alcanzaron o no los RA señalados?
¿Cuáles serían los contenidos esenciales que tendría que entregar a los estudiantes para que los aborden por su cuenta?
¿Cuáles son las preferencias de aprendizaje de sus estudiantes? (no se preocupe si no las tiene diagnosticadas, use su instinto)
¿Existen recursos que presenten el contenido señalado o deberá crearlo?
De acuerdo con las preferencias de aprendizaje de sus estudiantes ¿en qué formatos debe crear o curar este contenido?
En segundo lugar el profesor debe describir cómo sería el ambiente de aprendizaje que proveería a los alumnos para aplicar el conocimiento construido gracias a los contenidos suministrados. Esta descripción debe considerar los siguientes elementos:
mobiliario y distribución del espacio físico
herramientas para observación y seguimiento al progreso de los estudiantes
mecanismos para la realimentación oportuna
propuesta de andamiaje de las actividades de aprendizaje
Ahora hagamos uso de la IA Generativa
En el marco de la Evaluación de los Aprendizajes, es posible hacer uso de la IA generativa para construir una rúbrica con la cual valorar/evaluar las evidencias que se reciban. Para esto vamos a usar en Sage, un chatbot alojado en POE, el siguiente prompt:
Eres un experto en educación superior y estás a cargo de un seminario de metodologías activas de enseñanza. Luego de haber brindado los elementos esenciales del Aprendizaje Invertido y haber expuesto sus 4 pilares (ambiente flexible, cultura de aprendizaje, contenido intencional y docentes profesionales) has planteado como actividad de aprendizaje el diseño de una sesión en las asignaturas de los profesores que se están formando contigo y les has suministrado la siguiente guía: [insertar guía acá]. Elabora una rúbrica con 3 niveles de desempeño que permita evaluar las entregas recibidas tomando en cuenta los elementos de la guía y los principios expuestos del aprendizaje invertido.
La respuesta obtenida desde la IA es la siguiente:
Criterios | Excelente | Aceptable | Insuficiente |
Resultados de aprendizaje | Están claramente asociados con la metodología de aprendizaje invertido y se justifica su elección | Están asociados con la metodología de aprendizaje invertido, pero no se justifica claramente su elección | No están claramente asociados con la metodología de aprendizaje invertido |
Estrategia de evaluación | Es clara, coherente con los resultados de aprendizaje y permite medir el logro de los objetivos de aprendizaje | Es coherente con los resultados de aprendizaje, pero no es clara o no permite medir el logro de los objetivos de aprendizaje de forma efectiva | No es coherente con los resultados de aprendizaje o no permite medir el logro de los objetivos de aprendizaje de forma efectiva |
Contenidos esenciales | Son relevantes y están claramente relacionados con los resultados de aprendizaje elegidos | Son relevantes, pero no se relacionan de manera clara con los resultados de aprendizaje elegidos | No son relevantes o no se relacionan claramente con los resultados de aprendizaje elegidos |
Preferencias de aprendizaje | Se tienen en cuenta y se evidencia una selección adecuada de los formatos de entrega del contenido | Se tienen en cuenta, pero no se evidencia una selección adecuada de los formatos de entrega del contenido | No se tienen en cuenta adecuadamente y no se evidencia una selección adecuada de los formatos de entrega del contenido |
Ambiente de aprendizaje | Se propone un ambiente de aprendizaje adecuado, con todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | Se propone un ambiente de aprendizaje adecuado, pero no se especifican todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | No se propone un ambiente de aprendizaje adecuado, no se especifican los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes |
Y ahora podemos pedirle a POE que genere un chatbot basado en esta rúbrica para evaluar los trabajos que nos entreguen los profesores del curso.
Pongamos a prueba el Bot
Ahora para poner a prueba el bot creado usaremos la siguiente entrega de ejemplo:
Resultados de aprendizaje: diferenciar entre los dos tipos de negociación que se han trabajado a lo largo del curso.
Estrategia de evaluación: cada estudiante debe presentar en 30 segundos la definición de los dos tipos de negociación y sus compañeros evaluarán lo que ha presentado.
Contenidos esenciales: ¿en qué consiste la negociación? ¿cuándo negociamos? ¿cómo obtener la información esencial de nuestra contraparte?
Preferencias de aprendizaje: los estudiantes deben leer el primer capítulo del libro "Never split the difference" de Chris Voss, el cual les será facilitado en formato PDF.
Ambiente de aprendizaje: los estudiantes estarán en un salón organizado de tal manera que al frente estarán negociando dos de ellos y todos los demás estaremos sentados detrás viendo lo que ocurre.
La respuesta del bot que acabamos de configurar es sumamente interesante.
De acuerdo con la rúbrica, la realimentación es la siguiente:
Criterios | Excelente | Aceptable | Insuficiente |
Resultados de aprendizaje | Están claramente asociados con la metodología de aprendizaje invertido y se justifica su elección | Están asociados con la metodología de aprendizaje invertido, pero no se justifica claramente su elección | No están claramente asociados con la metodología de aprendizaje invertido |
Estrategia de evaluación | Es clara, coherente con los resultados de aprendizaje y permite medir el logro de los objetivos de aprendizaje | Es coherente con los resultados de aprendizaje, pero no es clara o no permite medir el logro de los objetivos de aprendizaje de forma efectiva | No es coherente con los resultados de aprendizaje o no permite medir el logro de los objetivos de aprendizaje de forma efectiva |
Contenidos esenciales | Son relevantes y están claramente relacionados con los resultados de aprendizaje elegidos | Son relevantes, pero no se relacionan de manera clara con los resultados de aprendizaje elegidos | No son relevantes o no se relacionan claramente con los resultados de aprendizaje elegidos |
Preferencias de aprendizaje | Se tienen en cuenta y se evidencia una selección adecuada de los formatos de entrega del contenido | Se tienen en cuenta, pero no se evidencia una selección adecuada de los formatos de entrega del contenido | No se tienen en cuenta adecuadamente y no se evidencia una selección adecuada de los formatos de entrega del contenido |
Ambiente de aprendizaje | Se propone un ambiente de aprendizaje adecuado, con todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | Se propone un ambiente de aprendizaje adecuado, pero no se especifican todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | No se propone un ambiente de aprendizaje adecuado, no se especifican los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes |
Además de los descriptores de la rúbrica, el bot ofrece los siguientes comentarios:
En general, la planeación asocia los componentes con la metodología de aprendizaje invertido, pero no los justifica claramente. La estrategia de evaluación no es completamente clara ni permite medir de manera efectiva el logro de los objetivos. Los contenidos se relacionan con los resultados de aprendizaje pero no de manera clara. Las preferencias de aprendizaje se tienen en cuenta parcialmente. Y el ambiente de aprendizaje se propone adecuadamente pero no se especifican todos los elementos para favorecer el aprendizaje autónomo y la interacción entre estudiantes.
La planeación requiere mejorar en la justificación de las elecciones, la claridad de la estrategia de evaluación y en la especificación de contenidos, formatos de entrega y elementos del ambiente de aprendizaje acordes a la metodología de aprendizaje invertido.
¿Realmente el bot está comprendiendo lo que le pedimos evaluar?
Vamos a poner a prueba las respuestas del Bot con una ligera variación, usando ahora la siguiente entrega de ejemplo:
Resultados de aprendizaje: diferenciar entre la negociación integrativa y la distributiva. Se considera que el aprendizaje invertido es ideal para lograrlo, ya que permite que los estudiantes desarrollen en el salón de clase una actividad práctica donde apliquen los conceptos previamente revisados.
Estrategia de evaluación: los estudiantes se enfrentarán a una situación de negociación previamente preparada por el docente. Aunque en principio parece una negociación donde el ganador se lo lleva todo, con el análisis adecuado los estudiantes descubrirán que mediante la negociación integrativa es posible llegar a un mejor resultado. Se espera que la discusión y el debate grupal les permita alcanzar esta conclusión.
Contenidos esenciales: negociación distributiva, negociación integrativa, escenarios de negociación, la importancia de la información en la negociación
Preferencias de aprendizaje: los estudiantes deben leer el primer capítulo del libro "Never split the difference" de Chris Voss, el cual les será facilitado en formato PDF.
Ambiente de aprendizaje: los estudiantes estarán en un salón organizado de tal manera que al frente estarán negociando dos de ellos y todos los demás estaremos sentados detrás viendo lo que ocurre.
La respuesta de nuestro bot ahora es diferente.
De acuerdo con la rúbrica, propone la siguiente realimentación:
Criterios | Excelente | Aceptable | Insuficiente |
Resultados de aprendizaje | Están claramente asociados con la metodología de aprendizaje invertido y se justifica su elección | Están asociados con la metodología de aprendizaje invertido, pero no se justifica claramente su elección | No están claramente asociados con la metodología de aprendizaje invertido |
Estrategia de evaluación | Es clara, coherente con los resultados de aprendizaje y permite medir el logro de los objetivos de aprendizaje | Es coherente con los resultados de aprendizaje, pero no es clara o no permite medir el logro de los objetivos de aprendizaje de forma efectiva | No es coherente con los resultados de aprendizaje o no permite medir el logro de los objetivos de aprendizaje de forma efectiva |
Contenidos esenciales | Son relevantes y están claramente relacionados con los resultados de aprendizaje elegidos | Son relevantes, pero no se relacionan de manera clara con los resultados de aprendizaje elegidos | No son relevantes o no se relacionan claramente con los resultados de aprendizaje elegidos |
Preferencias de aprendizaje | Se tienen en cuenta y se evidencia una selección adecuada de los formatos de entrega del contenido | Se tienen en cuenta, pero no se evidencia una selección adecuada de los formatos de entrega del contenido | No se tienen en cuenta adecuadamente y no se evidencia una selección adecuada de los formatos de entrega del contenido |
Ambiente de aprendizaje | Se propone un ambiente de aprendizaje adecuado, con todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | Se propone un ambiente de aprendizaje adecuado, pero no se especifican todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | No se propone un ambiente de aprendizaje adecuado, no se especifican los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes |
En cuanto a los comentarios adicionales:
podemos ver que la nueva planeación mejora claramente. Los resultados de aprendizaje se justifican adecuadamente con la metodología de aprendizaje invertido. La estrategia de evaluación es clara, coherente y permite medir el logro de objetivos. Los contenidos se relacionan claramente con los resultados de aprendizaje. Las preferencias de aprendizaje se tienen en cuenta y se seleccionan adecuadamente los formatos de entrega. Y el ambiente de aprendizaje se propone completo para favorecer el aprendizaje autónomo y la interacción entre estudiantes.
La planeación cumple satisfactoriamente con todos los criterios evaluados en la rúbrica. Resulta coherente y pertinente para lograr los resultados de aprendizaje planteados mediante la metodología de aprendizaje invertido.
Realicemos una tercera prueba ahora con un curso diferente
Vamos a usar para esta tercera prueba la siguiente entrega de ejemplo:
Resultados de aprendizaje: generar un resumen de un texto suministrado.
Estrategia de evaluación: los resúmenes de los estudiantes se evaluarán empleando una rúbrica
Contenidos esenciales: texto académico, texto científico, texto divulgativo.
Preferencias de aprendizaje: video en youtube que explica las tres clases de texto.
Ambiente de aprendizaje: aula de clase con 25 pupitres organizados por filas de 5.
En este tercer caso el bot configurado devuelve, de acuerdo con la rúbrica, la siguiente realimentación:
Criterios | Excelente | Aceptable | Insuficiente |
Resultados de aprendizaje | Están claramente asociados con la metodología de aprendizaje invertido y se justifica su elección | Están asociados con la metodología de aprendizaje invertido, pero no se justifica claramente su elección | No están claramente asociados con la metodología de aprendizaje invertido |
Estrategia de evaluación | Es clara, coherente con los resultados de aprendizaje y permite medir el logro de los objetivos de aprendizaje | Es coherente con los resultados de aprendizaje, pero no es clara o no permite medir el logro de los objetivos de aprendizaje de forma efectiva | No es coherente con los resultados de aprendizaje o no permite medir el logro de los objetivos de aprendizaje de forma efectiva |
Contenidos esenciales | Son relevantes y están claramente relacionados con los resultados de aprendizaje elegidos | Son relevantes, pero no se relacionan de manera clara con los resultados de aprendizaje elegidos | No son relevantes o no se relacionan claramente con los resultados de aprendizaje elegidos |
Preferencias de aprendizaje | Se tienen en cuenta y se evidencia una selección adecuada de los formatos de entrega del contenido | Se tienen en cuenta, pero no se evidencia una selección adecuada de los formatos de entrega del contenido | No se tienen en cuenta adecuadamente y no se evidencia una selección adecuada de los formatos de entrega del contenido |
Ambiente de aprendizaje | Se propone un ambiente de aprendizaje adecuado, con todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | Se propone un ambiente de aprendizaje adecuado, pero no se especifican todos los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes | No se propone un ambiente de aprendizaje adecuado, no se especifican los elementos necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes |
Para este tercer caso los comentarios adicionales son:
La planeación no justifica claramente la metodología de aprendizaje invertido para los resultados de aprendizaje planteados. La estrategia de evaluación es clara, pero los contenidos no se relacionan de manera clara con los objetivos de aprendizaje. No se tienen en cuenta adecuadamente las preferencias de aprendizaje ni se seleccionan adecuadamente los formatos de entrega. Y el ambiente de aprendizaje se propone parcialmente, no se especifican todos los elementos para favorecer el aprendizaje autónomo y la interacción entre estudiantes.
Para mejorar la planeación, se recomienda:
Justificar la metodología de aprendizaje invertido para los resultados de aprendizaje propuestos.
Relacionar claramente los contenidos esenciales con los resultados de aprendizaje.
Tomar en cuenta las preferencias de aprendizaje de los estudiantes y seleccionar adecuadamente los formatos de entrega.
Especificar todos los elementos del ambiente de aprendizaje necesarios para favorecer el aprendizaje autónomo y la interacción entre estudiantes.
Al implementar estas mejoras, la planeación podrá cumplir satisfactoriamente con los criterios evaluados en la rúbrica para el logro de los objetivos de aprendizaje mediante la metodología de aprendizaje invertido.
¿Qué es lo interesante aquí?
Estos tres primeros ensayos demuestran que el bot está evaluando los trabajos que le presentamos de acuerdo con la rúbrica definida y que además, genera un comentario sobre el trabajo realizado que puede suministrarse a manera de realimentación. ¿Estoy diciendo con esto que el profesor ya no debe realizar ningún trabajo? Todo lo contrario.
El profesor tiene el trabajo de construir el prompt adecuado para generar la rúbrica. Una vez la "IA construye la rubrica" el profesor debe afinar los criterios de evaluación, niveles y descriptores de desempeño para después construir el bot. Luego, revisar cada una de las evaluaciones que el bot devuelve es sin duda, parte esencial de su trabajo y sin embargo su rol ha cambiado sustancialmente, pues ahora el foco está en el diseño del instrumento con el que se sistematizará la evaluación y en revisar los resultados que a partir de la misma le devuelve su asistente artificial. Esta nueva forma de trabajo parece mucho más interesante que la de sentarse a revisar un trabajo tras otro, intentando hacer mejor que una máquina una tarea de naturaleza repetitiva y poco creativa.
¿Estamos finalmente ante la herramienta que va a terminar con el agotamiento profesional que sufren los profesores semestre tras semestre? ¿hemos encontrado acaso la manera de profesionalizar la evaluación y dejar en manos de un asistente obediente y bien entrenado la parte manual de este ejercicio?
No pretendo concluir con una respuesta a estos interrogantes ni cerrar de manera alguna una discusión por demás interesante, mi intención es por el contrario dejar en punta esta columna con el ánimo de recibir todos los comentarios y reacciones posibles.