I. INTRODUCCIÓN II. METODOLOGÍA III. RESULTADOS IV. COMITES Y SUS FUNCIONES V. CONCLUSIONES

Estudio de validez predictiva de la Prueba de Admisión a Estudios de Posgrado

I. INTRODUCCIÓN

En mayo de 1992 se administró la primera Prueba de Admisión a Estudios de Posgrado (PAEP) desarrollada por el Instituto Tecnológico de Monterrey. Una parte importante del proceso del desarrollo de esta prueba es la que corresponde a los estudios de validación del instrumento. Todo instrumento de medición debe cumplir eficientemente con el objetivo para el que fue creado. La PAEP pretende medir la capacidad que tienen los estudiantes para realizar estudios de posgrado. A la fecha se han realizado tres estudios para observar la validez predictiva de esta prueba (Forma A) correlacionando los resultados de la PAEP con las calificaciones de maestría y el promedio de profesional.

I.1 Marco teórico

Los principales fundamentos psicométricos en que se basan los estudios de validez predictiva son los conceptos de confiabilidad y validez. La confiabilidad es una medida de la capacidad del instrumento de medición para proporcionar los mismos resultados en aplicaciones repetidas del mismo o en aplicaciones de pruebas paralelas; ésta se mide a través de la proporción de la variabilidad que no es debida al error. La validez de una prueba se refiere a la exactitud con que pueden hacerse medidas significativas y adecuadas con ella, en el sentido de que mida realmente los rasgos que se pretenden medir. Existen diferentes tipos de validez en función al uso que se hace de la prueba; éstas son la validez de contenido, la concurrente y la predictiva. Ya que la PAEP se utiliza para tomar decisiones respecto a la admisión de los alumnos, se estudia la validez predictiva para incrementar la precisión de las decisiones. La variable criterio comunmente utilizada en estos casos es la calificación obtenida por los alumnos en los primeros semestres de estudio.

 

II. METODOLOGÍA

El primer estudio que se presenta fué realizado por Héctor Guerrero Mercado. Consistió en estudiar una muestra de 345 alumnos considerando las calificaciones del primer semestre de sus estudios de posgrado y el promedio de profesional. Se utilizaron los datos del Campus Monterrey, Garza Sada, Cd. de México, Edo. de México y Guadalajara. Se realizó un estudio de regresión múltiple y de validez predictiva. Las características que se tomaron en cuenta fueron las de sexo y programa de estudio (administración, ingeniería y educación).

El segundo estudio fué realizado por Graciela González Farías y consistió en identificar las dimensiones medidas por la PAEP, es decir, los factores no observables directamente y que se forman como combinaciones lineales de las variables utilizadas en el estudio. También se estudió la capacidad predictiva del instrumento considerando la muestra de 1106 alumnos del Sistema. Las variables criterio fueron el promedio de profesional y las calificaciones de los alumnos después de un año de iniciar sus estudios. Para reducir la variabilidad se trabajó en subconjuntos de la población, haciendo los análisis de varianza correspondientes.

El tercer estudio realizado también por Graciela Gonzalez Farías, consistió en tomar una muestra de 319 alumnos del Campus Monterrey y las calificaciones del primer año de estudios de posgrado. En este estudio se observaron variables más específicas como si el estudiante era becado o no becado, si trabajaba o no y el número de semestres cursados en el año, entre otras. Las variables criterios utilizadas fueron igual que en los estudios anteriores. En este caso se formaron dos grupos de la muestra, el primero que agrupa a los alumnos de programas de administración y el segundo a los del resto de los programas.

 

III. RESULTADOS
 

Los análisis de regresión se hicieron con todas las partes de la prueba para observar el comportamiento de los puntajes ponderados de la misma. Las siguientes tablas muestran el resumen de estos resultados con el método de entrada forzada y el de regresión paso a paso. También se hicieron estudios separando las variables de programas de estudio y sexo.

III.2 Segundo estudio.

La primera fase del estudio, consistió en realizar un análisis de factores para determinar la formación de la prueba. En la segunda fase, se observó la probabilidad de predicción de los puntajes de la PAEP y los promedios de profesional de los alumnos. La tercera fase, buscó las variables que pueden influir en la forma en que el estudiante se ubica en una categoría particular de calificaciones de maestría.

III.2.1 Análisis de factores

Se determinaron tres factores como dimensiones medidas por la PAEP, explicando el 70.3% de la variabilidad total. La siguiente tabla muestra los factores que se obtuvieron.

Factor 1	Factor 2	Factor 3
40%	36%	24%
Redacción		Matemáticas
Verbal		Habilidad Cognitiva
Inglés

 

III.2.2 Capacidad predictiva

A nivel global, con el modelo de los factores más el promedio de profesional se encontró baja capacidad predictiva con una R = 0.209. Posteriormente se formaron grupos m    ás homogéneos para observar el comportamiento. Se separó la muestra en dos áreas: administración y otras especialidades. Con este estudio se obtuvo una R = 0.451 para el grupo de otras especialidades, mientras que para el grupo de administración se obtuvo una R 0 0.282.
 

Para reducir la variabilidad se formaron sub-categorías dentro de la población total, sugeridas por un análisis de conglomerados. Los rangos de calificaciones fueron los siguientes:

 

Categoría	Prom.Profesional	Prom. Maestría	Puntaje Final
1	x < 7.5	x < 7.5	x < 430
2	7.5 < x < 8.5	7.5 < x < 8.5	430 < x < 500
3	8.5 < x < 9	8.5 < x < 9	500 < x < 600
4	9 < x < 9.5	9 < x < 9.5	600 < x < 700
5	9.5 < x	9.5 < x	700 < x

 

El objetivo de este estudio, era saber qué probabilidad tiene un estudiante con un promedio de profesional ‘x’ o un puntaje final de la PAEP ‘y’, de obtener un promedio de calificaciones ‘z’ en sus estudios de maestría. Las gráficas de probabilidad logística acumulada fueron las siguientes:

La gráfica a la izquierda ignora el promedio de profesional y la de la derecha ignora el puntaje final de la PAEP. En ambas gráficas, el eje vertical de la izquierda es un eje de probabilidades y el de la derecha representa la variable clasificatoria (promedio de maestría). El eje horizontal es el factor que condiciona la probabilidad (en el caso de la izquierda, es el puntaje final y en el de la derecha es el promedio de profesional). Entre mayor sea la pendiente de las curvas, mayor será la capacidad discriminatoria del criterio utilizado.

 Por ejemplo, en la gráfica de la izquierda, la probabilidad de que un alumno se ubique en:

el grupo 1, dado que obtuvo un puntaje final de 525 es del 10%
el grupo 2, dado que obtuvo un puntaje final de 525 es del 25%
(diferencia entre la curva 2 y la 1) 0 .34 - 0.1 = .24
  

En la gráfica de la derecha, la probabilidad de que un alumno se ubique en:
el grupo 1, dado que obtuvo un promedio de profesional de 8.5 es del 5%
el grupo 2, dado que obtuvo un promedio de profesional de 8.5 es del 13%
(diferencia entre la curva 2 y la 1) = .23 - 0.1 = .13

 

III.2.3 Influencia de las variables

La tercera fase, comprendió el observar qué otras variables influyen en la forma en qu el estudiante se ubica en una categoría particular. La siguiente tabla muestra el resumen de estos datos.

 

Source	Nparm	DF	Wald ChiSquare	Prob>ChiSquare
fin	1	1	9.460824	0.0021
profe	1	1	36.950072	0.0000
N	8	8	7.571360	0.4764
sem	2	2	2.779429	0.2491
pu/pr	1	1	0.455405	0.4998
t/nt	1	1	14.593349	0.0001
programa	8	8	30.324692	0.0002
sexo	1	1	4.610076	0.0318
cingr	6	6	29.433424	0.0001

 

 La siguiente tabla presenta el resumen de los datos anteriores.

Influyen	No influyen
puntaje final de la prueba	número de semestres cursados
promedio de profesional	número de materias cursadas
procedencia Tec versus no Tec	procedencia de institución pública versus privada
programa al que pertenece	sexo del alumno
campus de ingreso

 

III.3 Tercer estudio

Los resultados muestran que solamente cuatro factores fueron significativos y que impactan en diferentes niveles al promedio de maestría. Estos factores en el orden de importancia son los siguientes: promedio de profesional, programa, estatus de becario versus no becario y puntaje final de la PAEP. Se obtuvo una R = 0.482 con un nivel de significancia observado de 0.000. Con estos datos se generó una ecuación de predicción junto con una tabla que permite predecir el promedio de calificaciones de maestría con base a los factores estudiados.


IV. DISCUSIÓN DE LOS RESULTADOS

En el primer estudio, incluyendo todas las partes de la prueba y los puntajes ponderados prevalecieron como predictores significativos en orden de importancia, la componente habilidad cognoscitiva, el promedio de profesional y la componente redacción. La componente redacción permanece como predictor relevante debido al ensayo, ya que la parte objetiva no apareció como significativa.

En el segundo estudio, no se logra una predicción aceptable del promedio de maestría cuando se utilizan el puntaje final o los factores y/o el promedio de profesional como variables predictoras bajo un ajuste lineal. Por esta razón se determinó hacer un estudio de tendencias considerando el comportamiento por grupos. En estos estudios la media del promedio de profesional predice muy bien a la media del promedio de maestría (R = 0.998).

 En el tercer estudio, en donde se tuvo que separar la muestra en dos grandes grupos (administración y otras especialidades) se encontró que para el primer grupo, el modelo más apropiado fue aquel en donde sólo las variables promedios de profesional y los puntajes de la prueba influyen, obteniendo una R = 0.398. Para el segundo grupo, el análisis mostró un modelo con las variables de promedio de profesional y becario-no becario, obteniendo una R = 0.540.

 

V. CONCLUSIONES

 En el primer estudio, se encontró que el mejor predictor fue la componente habilidad cognoscitiva; el promedio de profesional se ubicó como segundo y en tercer lugar el ensayo. Con estos tres predictores se alcanzó un coeficiente de validez de 0.325.

En el segundo estudio, se encontró que los alumnos que se catalogan en los grupos altos (4 y 5) bajo los dos criterios: puntaje final y promedio de profesional, tienden a permanecer en esas clasificaciones en lo que respecta a su promedio de maestría. En el caso de alumnos con un puntaje final (PAEP) bajo, se puede esperar cualquier resultado en el promedio de maestría.
En el tercer estudio, se encontró que las cuatro variables que parecen impactar en diferentes niveles al promedio de maestría resultaron ser: promedio de profesional, programa, estatus de bacario versus no becario y puntaje final de la prueba. Al dividir la muestra por programas de estudio (administración y otras especialidades) las variables que más impactan al promedio de maestría son:

Grupo	Variable	Variable	R
Administración	pprofe  (p=0.0002)	pfinPAEP (p=00.033)	0.398
Otras especialidades	pprofe  (p=0.0000)	becario-no becario  (p=00.033)	0.054

 

Una hipótesis factible es que para los programas de ‘ciencias exactas’ los hábitos de estudio, así como la presión por mantener una beca son los que determinan el desempeño a futuro, por lo que la PAEP, que básicamente mide otro tipo de habilidades, no representa un factor determinante en el ‘éxito’ de este grupo. Por otro lado, en el grupo de ‘administración’ las habilidades medidas por la PAEP parecen ser de mayor peso en la predicción del desempeño a futuro.

En general, estudios de predictibilidad realizados en este nivel de estudios muestran que la validez predictiva no puede ser alta, debido a que los alumnos que ingresan a posgrados ya son de por sí, alumnos con alto rendimiento y capacidad; por lo tanto, no se tiene una muestra amplia (con alumnos de bajo rendimiento) para que una prueba pueda mostrar sus beneficios. Entre más homogénea sea la muestra, cualquier prueba baja su capacidad de predicción. Otros factores también pueden influir en la capacidad predictiva, como son el hecho de que el rango de calificaciones de maestría es muy pequeño (8, 9 y 19) y el promedio de profesional superior a 7, por lo que no se tiene el espectro de calificaciones en ninguno de los casos.

Queda por investigar el comportamiento de variables que en este estudio todavía no se contemplan, como son, modalidades de enseñanza (tradicional versus satelital), diferentes maestros con diferentes técnicas de enseñanza, aplicación y revisión del examen, valoración de la composición, entre otras más.