Agentes de IA en acreditación: cuando la evidencia necesita una arquitectura

Por: Diana Amórtegui Osorio

Socio Consultor de Estudio Elefante 

Si tiene algún comentario o sugerencia agradecemos nos lo haga saber a través del correo info@estudielefante.co 

Somos Estudio Elefante. ¡La fuerza detrás de las grandes ideas!

La acreditación no es tan objetiva como nos gusta creer; es, sobre todo, consistente en cómo justificamos lo que ya decidimos. Y ese pequeño detalle —cómo decidimos— sigue siendo el gran elefante en la habitación. 

En educación superior hemos construido una narrativa robusta alrededor de la autoevaluación: procesos rigurosos, basados en evidencia, orientados a la mejora continua. Documentos, indicadores, matrices, informes. Todo parece estar en su lugar.

Pero hay una pregunta que rara vez se formula con honestidad: ¿Qué papel juega realmente la evidencia en nuestras decisiones de acreditación?

Porque una cosa es declararla como fundamento, y otra muy distinta es usarla como tal. En la práctica, buena parte de estos procesos se sostienen en algo menos visible —y bastante más humano—: la interpretación.

Y ahí es donde empiezan los problemas.

La acreditación sigue operando, en muchos casos, como un proceso artesanal sofisticado. Equipos expertos revisan documentos, construyen juicios, contrastan perspectivas y redactan informes que buscan dar cuenta de la calidad de un programa o institución.

Hasta aquí, todo razonable.

El problema aparece cuando observamos el detalle: la misma evidencia, leída por distintos comités, produce conclusiones distintas.

No es un fallo del sistema; es su diseño implícito.

Décadas de investigación en toma de decisiones han mostrado que el juicio experto no es inmune a sesgos, heurísticos y marcos de referencia que condicionan la interpretación (Kahneman, 2011). Y, en educación superior, la situación es aún más compleja: la “calidad” no es unívoca, sino una construcción situada, negociada y, a veces, ambigua (Harvey & Green, 1993).

En otras palabras: no solo interpretamos la evidencia; también interpretamos qué significa “calidad”.

Cuando esos dos niveles de interpretación convergen, la consistencia deja de ser un atributo garantizado y pasa a ser una aspiración.

Frente a esta tensión, la respuesta habitual ha sido predecible: más evidencia, más indicadores, más formatos. Pero el problema no es la cantidad de información. Es la arquitectura del juicio.

Ahí es donde empiezan a aparecer —con más promesas que discusión crítica— los agentes de inteligencia artificial en procesos de acreditación, especialmente aquellos basados en arquitecturas tipo RAG (Retrieval‑ Augmented Generation), capaces de recuperar, organizar y relacionar grandes volúmenes de información institucional.

Su potencial es evidente: 

• Hacer explícita la relación entre afirmaciones y evidencias.

• Reducir la dependencia de la memoria y la selección individual.

• Identificar inconsistencias que normalmente quedan diluidas en el volumen documental.

• Dejar trazabilidad de cómo se construye cada juicio.

  
  

En síntesis: hacer visible lo que hoy ocurre en la opacidad del proceso evaluativo.

Pero aquí conviene incomodarse un poco. Porque incorporar IA no resuelve automáticamente el problema de la subjetividad. Puede, de hecho, sofisticarlo.Un agente no elimina sesgos. Los ejecuta con disciplina.

Si una institución decide —explícita o implícitamente— qué cuenta como evidencia válida, qué pesa más y cómo se conectan los datos con los juicios, el sistema aprenderá exactamente eso. Ni más, ni menos.

La diferencia es que ahora esa lógica deja de estar dispersa y pasa a estar embebida en una arquitectura.

Y eso cambia todo: Pasamos de una subjetividad difusa —difícil de rastrear— a una subjetividad diseñada, sistemática y, por tanto, gobernable.

Micro‑caso: lo que realmente cambia

Un comité evalúa el criterio: fortalecimiento de la investigación formativa.

Modelo tradicional Se afirma: “el programa ha fortalecido la investigación formativa”. Se anexan informes de semilleros, una política institucional y listados de participación. La relación entre resultados de aprendizaje, calidad de productos e impacto queda implícita.

Con agente basado en RAG El sistema recupera: resultados de aprendizaje, rúbricas de evaluación, productos estudiantiles, informes y tasas de participación. El agente identifica:

• Coherencia parcial entre resultados y actividades.

• Alta participación pero baja producción evaluada con criterios explícitos.

• Ausencia de evidencia de progresión en niveles de logro.

Conclusión: “El programa evidencia fortalecimiento en participación en investigación formativa, pero no hay evidencia suficiente de consolidación en resultados de aprendizaje asociados”.

La diferencia no es menor: no cambia la evidencia disponible; cambia cómo se construye el juicio.

Y con ello, cambia también el rol del evaluador.

El evaluador ya no es quien selecciona evidencia para sostener una narrativa. Pasa a ser quien interroga la lógica con la que esa narrativa se construye. Esto es, probablemente, mucho más exigente.

La acreditación no está en crisis por falta de evidencia. Está tensionada por la forma en que decide qué hacer con ella.

Por eso, la transición hacia modelos de inteligencia aumentada no debería entenderse como una mejora tecnológica, sino como un cambio en la responsabilidad epistemológica de las instituciones.

Porque cuando la trazabilidad aparece, también aparece algo menos cómodo: la necesidad de hacerse cargo de los criterios con los que se juzga la calidad. Y eso ya no es un problema técnico. Es un problema institucional.

Si nuestras decisiones dependen menos de la evidencia de lo que declaramos y más de cómo la interpretamos, ¿Qué tan preparado está su sistema de aseguramiento del aprendizaje para hacer explícitas —y sostenibles— las reglas con las que construye sus juicios de calidad?

Tal vez el reto no sea solo incorporar agentes de IA, sino avanzar hacia el diseño de sistemas donde la relación entre evidencia, criterios y decisiones deje de depender del criterio individual y se convierta en una capacidad institucional. Explorar ese tránsito —con criterios compartidos, equipos formados y arquitecturas claras— puede ser el paso necesario para que la acreditación deje de ser un ejercicio declarativo y empiece a funcionar como aprendizaje organizacional.

---

Referencias

• Harvey, L., & Green, D. (1993). Defining quality. Assessment & Evaluation in Higher Education, 18(1), 9–34. https://doi.org/10.1080/0260293930180102

  Kahneman, D. (2011). Thinking, fast and slow. Farrar, Straus and Giroux.