La formación de profesionistas que respondan a las necesidades y demandas de la sociedad actual ha sido una de las principales razones de la existencia del Tecnológico de Monterrey. Es por ello que en sus procesos institucionales de mejora continua considera aspectos que contemplan algunos organismos acreditadores de prestigio tanto nacionales como internacionales.
En el ámbito de los organismos acreditadores, ha existido un cambio de filosofía en los procesos de evaluación al considerar, más allá de la capacidad de la institución entendida como su infraestructura y sus procesos, los resultados de aprendizaje de sus programas académicos (Learning Outcomes) y los ciclos de mejora continua.
Por mencionar un ejemplo, entre los criterios de acreditación de Asociación de Escuelas y Universidades del Sur de Estados Unidos (SACS, por sus siglas en inglés) se encuentra el Comprehensive Standard 3.3.1:
“The institution identifies expected outcomes, assesses the extent to which it achieves these outcomes, and provides evidence of improvement based on analysis of the results in the following area: educational programs.”
La respuesta a este estándar de SACS se debe de realizar en el reporte del 5to año de la reafirmación, el cual debe de elaborarse en el 2013. SACS recomienda incluir al menos tres ciclos de evaluación para mostrar tendencias de cumplimiento, esto implica que los programas académicos deben de haber completado un primer ciclo de evaluación en el 2011.
Consistente con esta filosofía y para estar acorde a los nuevos lineamientos definidos por las agencias acreditadoras, el Tecnológico de Monterrey ha definido un proyecto de evaluación de programas académicos basado en competencias de egreso con las siguientes premisas como guía:
- Hacerlo bien.
- Que sirva para la mejora continua
- Que sea lo más sencillo posible
Este proyecto parte de un modelo institucional de evaluación de programas que está compuesto de 4 etapas:
- Definición del Perfil de Egreso
- Elaboración de un Plan de Evaluación
- Evaluación y resultados
- Definición de acciones de mejora
Las cuatro etapas se describen a continuación.
Etapa 1. Definición del Perfil de Egreso basado en Competencias de Egreso
Esta etapa consiste en la definición del perfil de egreso basado en competencias de egreso (la combinación de conocimientos, habilidades y actitudes que hacen referencia a las capacidades que un estudiante debe haber desarrollado al momento de su graduación) y criterios de desempeño (enunciados específicos medibles que identifican comportamientos observables que evidencian el desarrollo de un objetivo o competencia ).
Bajo este enfoque de competencias de egreso, los perfiles de egreso fueron revisados, modificados y aprobados por las academias en el diseño de los planes de estudio del 2011, considerando tres tipos de competencias: disciplinares, comunes al área y personales (o transversales) como se observa en la figura 1.
Figura 1. Estructura de competencias de egreso de los programas académicos
Esta estructura implica que el perfil de egreso es único en los diferentes campus del TEC, el egresado de economía de Campus Monterrey deberá de desarrollar las mismas competencias que el egresado de economía de Campus Ciudad de México.
Si bien el perfil de egreso convive con el plan de estudios, es conveniente mencionar que los planes de estudio son el medio para desarrollar el perfil de egreso, no se define un perfil de egreso para cada plan de estudios. El perfil de egreso contiene las competencias de egreso esenciales que definen el programa académico, si el plan de estudios no cambia drasticamente, se espera que el perfil de egreso sea estable entre los diferentes planes de estudio vigentes (los egresados de la carrera de economía plan 2007, 2010 y 2011 tendrán que ser capaces de realizar análisis macroeconómicos si desean trabajar como economistas). Bajo esta perspectiva, es posible realizar la evaluación de los programas académicos aún y cuando el plan de estudio más actual no haya graduado alumnos, enfocando los esfuerzos a evaluar las competencias que se han desarrollado en los egresados de los planes vigentes.
En la sección de Etapa 1. Perfiles de egreso de este sitio web, se pueden consultar los perfiles de egreso definidos por las academias.
Etapa 2. Definición del plan de evaluación por programa-campus
El plan de evaluación es la guía para obtener la evidencia del desarrollo de las competencias de egreso a través de los criterios de desempeño. En él se establece y diseña el instrumento para realizar la evaluación, se define la frecuencia de la evaluación, la materia en que se obtendrá la evidencia del alumno a evaluar, la forma de cumplimiento, la meta y el responsable de evaluar o coordinar la evaluación.
A diferencia del perfil de egreso que es único para todos los campus del TEC, el plan de evaluación se personaliza a las particularidades de cada campus, de tal manera que se espera que haya un plan de evaluación por cada programa-campus.
2.1 Elaboración del plan de evaluación
De manera colegiada (participando el director de carrera, de departamento y los profesores) y por campus, cada programa académico debe de definir un plan de evaluación para cada criterio de desempeño de cada una de las competencias de egreso del programa académico. En el plan de evaluación se específica:
| Periodo | Método de evaluación | Cuándo | Dónde | Meta |
| El periodo en el que se realizará la evaluación | El instrumento que se utilizará para evaluar el desarrollo de la competencia/criterio de desempeño:Rúbrica o Examen | La frecuencia en que se realizará la evaluación:semestral o anual | Si se utiliza rúbrica, se especifica la materia (clave y nombre) en la que se hará la evaluación. | El % de alumnos que se espera que cumplan con el criterio de desempeño |
| Responsable:Se especifica el nombre completo y correo de la persona encargada de coordinar o realizar la evaluación. | ||||
| Forma de cumplimiento:Se indica de acuerdo al instrumento de evaluación el criterio para considerar que un alumno cumple con el criterio de desempeño. | ||||
Ejemplo 1:
| Carrera: | IIS |
| Campus: | Monterrey |
| Competencia de egreso: | El alumno resolverá problemas del área de ingeniería industrial y de sistemas utilizando herramientas matemáticas y científicas. |
| Criterio de desempeño | El alumno resuelve problemas de ingeniería industrial de manera satisfactoria haciendo uso de métodos matemáticos. |
| Periodo | Método de evaluación | Cuándo | Dónde | Meta |
| Ago-Dic 2011 | Rúbrica | Semestral | IN2011 Ingeniería Estadística | 70% |
| Responsable: Gloria Susana Lazo Quintanilla (lquinta@itesm.mx) | ||||
| Forma de cumplimiento: El alumno cumple con el criterio si obtiene una evaluación promedio igual o superior a 3 en la rúbrica (Escala 1-4 donde 1 es lo mejor) | ||||
Ejemplo 2:
| Competencia de egreso: | El alumno resolverá problemas del área de ingeniería industrial y de sistemas utilizando herramientas matemáticas y científicas. |
| Criterio de desempeño | El alumno obtiene un resultado Satisfactorio o Sobresaliente en la sección de Gestión de la Cadena de Suministros del examen del CENEVAL. |
| Periodo | Método de evaluación | Cuándo | Dónde | Meta |
| AD11 | Examen CENEVAL | Semestral | Al final de la carrera | 80% |
| Responsable: Gloria Susana Lazo Quintanilla (lquinta@itesm.mx) | ||||
| Forma de cumplimiento: El alumno cumple con el criterio si obtiene un resultado Satisfactorio o Sobresaliente en la sección mencionada. | ||||
2.2 Elaboración de rúbricas
Además de especificar en el plan de evaluación el instrumento con que se realizará la evaluación, es necesario diseñarlo. Para aprovechar información institucional, en la medida de lo posible, y sobre todo cuando la competencia implique evaluar conocimiento, se recomienda usar el Examen General de Egreso para Licenciatura, EGEL, de CENEVAL, sin embargo, en caso de que no sea factible, ya que la competencia implique evaluar una habilidad o la aplicación del conocimiento o la realización de una práctica, se recomienda diseñar una rúbrica.
La rúbrica es un instrumento utilizado para la evaluación del desempeño de los estudiantes. La evaluación del desempeño implica:
- Que un estudiante enfrente un problema altamente significativo donde tiene que aplicar sus conocimientos y habilidades para resolverlo; y
- El evaluador utiliza una rúbrica con criterios establecidos para evaluar evidencias del nivel de desempeño y los logros del estudiante.
La finalidad de utilizar rúbricas para medir el desempeño de los estudiantes al realizar una actividad, trabajo o presentación, es porque en ellas se especifica al evaluador los criterios a evaluar (dimensiones de la rúbrica) y los niveles de desempeño esperados en el estudiante, buscando disminuir de esta manera, la variabilidad en las evaluaciones basadas en la apreciación, además de obtener evaluaciones consistentes, independientemente del profesor evaluador.
Al diseñar una rúbrica se deben tomar en cuenta las siguientes consideraciones:
- De todos los posibles criterios a evaluar, definir los más representativos para formar las dimensiones de la rúbrica
- Incluir una breve descripción de lo que significa cada dimensión.
- Para cada dimensión definir la descripción del nivel más alto y el nivel más bajo de desempeño, y posteriormente trabajar la definición de los niveles intermedios en función de los extremos.
- Al describir los niveles de desempeño:
- Evitar usar términos como: generalmente, siempre, algunas veces, claramente, etc. que puedan ser subjetivos o poco claros para el evaluador
- Asegurar que sean exhaustivos (que en los niveles de desempeño se listen todas las posiblidades de evaluación)
- Asegurar que sean mutuamente excluyentes (que la evaluación realizada recaiga solo sobre un nivel de desempeño y no sobre varios)
Para este proyecto institucional se utilizaran rúbricas con cuatro niveles de desempeño tomando en cuenta que la rúbrica:
- Se diseña para una competencia de egreso o criterio de desempeño, NO para una materia
- Se puede aplicar a diferentes evidencias, NO se diseña para un tipo de evidencia en específico
Ejemplo de rúbrica:
Carrera: IIS
Competencia de egreso: El alumno se comunicará eficientemente de forma oral y escrita.
Criterio de desempeño: El alumno desarrolla presentaciones de forma oral de acuerdo a estándares establecidos.
En la sección de Etapa 2. Plan de Evaluación de este sitio web, se pueden consultar los siguientes documentos:
- Formatos para elaborar el plan de evaluación por carrera-campus
- Formatos para elaborar rúbricas
- Planes de evaluación y rúbricas realizados por los diferentes programas-campus que pueden ser tomados como base.
Etapa 3. Evaluación y resultados por programa-campus
Una vez que se cuenta con el plan de evaluación y los instrumentos de evaluación (rúbrica o examen) se procede con la etapa de evaluación.
La evidencia del desarrollo de las competencias, se puede obtener a través de los productos entregados en un curso, o bien mediante una actividad diseñada especialmente para obtener estas evidencias. Es conveniente tener en cuenta lo siguiente en esta etapa:
- La evaluación para obtener evidencias del desarrollo de las competencias de egreso, es independiente de la evaluación del curso, se evalúa al programa académico y no al alumno ni al profesor en lo individual.
- La evidencias evaluadas son a nivel alumno y no de trabajos en equipo. Se pueden usar evidencias de trabajos en equipo siempre y cuando se vincule la evaluación a lo aprendido por el alumno en lo individual.
- No se requiere evaluar todo, ni todo el tiempo. La medición puede ser semestral o anual y con muestras aleatorias.
- La evaluación de preferencia, es sumativa, enfocada a los semestres del último tercio donde se espera estén más desarrolladas las competencias.
Etapa 4. Definición de acciones de mejora por programa-campus
Con los resultados de la evaluación y el avance por criterio de desempeño de las competencia de egreso, en esta etapa se realiza el análisis de los resultados para definir acciones de mejora, en caso de que no se hayan obtenido los resultados esperados.
Para cerrar ciclos de mejora, se recomienda integrar las actividades del plan de evaluación dentro del plan de trabajo departamental semestral, organizar grupos colegiados que analicen los resultados de las evaluaciones realizadas en el periodo, y determinar acciones de mejora que pueden impactar en los instrumentos de evaluación, en las acciones educativas o contenidos de cursos y en el perfil de egreso, ver figura 2.
Figura 2. Modelo de evaluación de los programas académicos
Sistema para Administrar la Evaluación de los Programas Académicos, SAEP.
Como apoyo a cada una de las etapas de este proyecto institucional de evaluación de programas académicos, se desarrolló el Sistema para Administrar la Evaluación de los Programas Académicos, SAEP.
Etapa 1. Perfil de egreso
El sistema permite consultar reportes en word o web de los perfiles de egreso vigentes por periodo.
Etapa 2. Plan de evaluación
El sistema documenta los planes de evaluación por programa-campus y los instrumentos de evaluación (rúbricas) para generar reportes en word o web por periodo e históricos.
Para poder documentar en SAEP los planes de evaluación y los instrumentos de evaluación como rúbricas, se requieren llenar los formatos del plan de evaluación y de rúbricas que se encuentran disponibles en este sitio en la sección de Etapa 2. Plan de evaluación. Al tener completos los formatos se tienen que enviar a la cuenta eval@servicios.itesm.mx, en las fechas establecidas en el cronograma de actividades de este sitio web. Cada semestre se replicarán los planes de evaluación en SAEP, en caso de que sufran cambios en un semestre, se tendrán que enviar de nuevo a la cuenta de correo para que se actualicen.
Etapa 3. Evaluación y resultados
El sistema contiene un módulo para que los profesores realicen la evaluación de las evidencias mediante rúbricas, similar al esquema de captura de calificaciones. El profesor en el periodo de evaluación (consultar cronograma de actividades de este sitio web) podrá entrar a SAEP y realizar la evaluación de la evidencia entregada por sus alumnos, siempre y cuando la materia que imparta haya sido seleccionada en el plan de evaluación de su programa-campus. En la sección de Etapa 3. Evaluación y resultados existe un video de apoyo donde se explica cómo realizar la evaluación de rúbricas mediante SAEP.
Para los resultados obtenidos de la evaluación mediante rúbricas, y para los resultados del EGEL de CENEVAL (para los criterios de desempeño que seleccionaron dicho examen), el sistema generará reportes de avance por programa-campus que podrán ser consultados en word o en formato web en un periodo de tiempo o de forma histórica.
Etapa 4. Definición de acciones de mejora
En esta etapa el sistema permite describir a manera de narrativa el análisis de resultados y la documentación de acciones de mejora haciendo referencias a archivos como análisis detallados, minutas, etc. para después generar esta información como parte de los reportes de avance del programa-campus.