I. INTRODUCCIÓN II. MARCO TEÓRICO III. METODOLOGÍA IV. COMITES Y SUS FUNCIONES V. ÁREAS Y CONTENIDOS DE LA PAEP VI. RESULTADOS OBTENIDOS VII. CONCLUSIONES

 

1. INTRODUCCIÓN

Antecedentes
El desarrollo de la Prueba de Admisión a Estudios de Posgrado (PAEP) se inició en Marzo de 1991 como un proyecto del Sistema Tecnológico de Monterrey, realizado en el Campus Eugenio Garza Sada. Participaron profesores de todas las rectorías del Sistema y fue apoyado desde la perspectiva psicométrica por el director técnico del College Board en Puerto Rico. La necesidad de que el Sistema contara con una prueba actualizada diseñada específicamente para nuestros alumnos fue el motivo que ha impulsado este proyecto lográndose un desarrollo de recursos humanos internos en este trabajo. Este instrumento se realizó con una exigencia técnica obteniendo un alto nivel de validez y confiabilidad. La prueba fué diseñada para evaluar aptitudes, habilidades y conocimientos del candidato a ingresar a estudios de posgrado, en cinco áreas.

Objetivos
Los objetivos que se tuvieron fueron los siguientes:

Importancia
La prueba PAEP fue diseñada con una estructura de tres componentes para evaluar aptitudes, habilidades y conocimientos del candidato a ingresar a estudios de posgrado; estos tres componentes se dividieron en cinco áreas. Un aspecto importante de esta prueba es que el instrumento mide una nueva área de habilidad cognitiva, en donde el candidato debe demostrar su habilidad para resolver problemas desde un punto de vista de razonamiento cognitivo. Otro aspecto importante es la evaluación de comprensión de lectura con un análisis crítico y no sólo análisis tradicional. Para el análisis crítico de la lectura se le presentan al candidato dos lecturas de donde tendrá que contestar a reactivos que impliquen comparar ambos textos. Los reactivos que miden este tipo de comprensión se dan en las secciones Verbal y de Inglés. Se incluyó un tercer aspecto en el diseño de la prueba, que fue el de valorar una composición que el candidato hace sobre un tema específico; dicha composición se valora con una metodología objetiva (holística) en donde participan dos o tres lectores por composición. Actualmente se tienen tres formas paralelas de la prueba: A, B y C. La equivalencia de las tres formas se logró diseñando la segunda y tercera forma con reactivos comunes a la primera forma.

II. MARCO TEÓRICO

El propósito de la evaluación es conocer los niveles de conocimiento, habilidad, o cualquier otro aspecto de la persona. Una vez que se determina lo que se desea evaluar, se toman decisiones sobre el tipo de información que se necesita y la manera en cómo se estructura. Existen diversas maneras para medir comportamiento, siendo una de ellas las pruebas. Asimismo, existen muchos tipos de pruebas, como son las de conocimientos, las de aptitudes o las de personalidad. En cualquier modalidad, es necesario considerar que las pruebas son un instrumento que debe utilizar el evaluador como parte de un conjunto de medidas para tomar decisiones. Y en el caso de pruebas de admisión, es importante considerar lo anterior, ya que para tomar decisiones sobre la continuación del desarrollo académico de una persona, un sólo factor limitaría el criterio de aceptación o rechazo.

Las pruebas se pueden desarrollar en forma de opción múltiple, abiertas, orales, escritas, etc. La forma que se decida adoptar dependerá de las necesidades para la que una prueba es diseñada. Todas las pruebas de esta índole tienen limitaciones, ya que este tipo de medición nunca será tan exacta como una medición en ciencias exactas. Se debe también considerar el error estandar de medición, que indica el rango en donde el examinado puede variar su puntuación.

Los resultados de una prueba se nos dan en forma numérica, por lo que deben ser interpretados de alguna forma. El diseño de pruebas puede ser de referencia normativa o de referencia de criterio. En las pruebas de referencia normativa podemos referir los puntajes a una norma, a una población específica para poder comparar los resultados. Las pruebas de referencia de criterio tienen que ver con diferentes grados de un tipo de comportamiento del sujeto para compararse consigo mismo; en este caso, una actividad se divide en componentes para observar los logros individuales. En el caso del desarrollo de la PAEP se optó por el tipo de prueba normalizada con el fin de poder tomar decisiones a nivel institucional.

Existe una metodología respecto a la forma de desarrollar nuevas pruebas, como son las consideraciones que se deben tener en cuenta al elaborar los reactivos, así como los diferentes distractores en el caso de preguntas de opción múltiple. De la misma manera, hay una gran variedad de conceptos y análisis estadísticos que nos permiten observar el comportamiento de los reactivos que se incluirán en una prueba. Todos estos aspectos son importantes para elaborar una prueba formal con altos índices de confiabilidad y validez.

La PAEP fue elaborada tomando en consideración el Modelo IRT (Item Response Theory), teoría estadística que consiste en varios modelos que expresan la probabilidad de observar una respuesta particular a un reactivo en función de ciertas características del mismo; también nos indica el nivel de habilidad del sujeto. El modelo utilizado fue uno de tres parámetros que se aplica a preguntas de opción múltiple. Los parámetros representan: a) la capacidad del reactivo para discriminar entre los niveles de habilidad, es decir el rango de probabilidad de que una respuesta correcta de un reactivo cambie como función del nivel de habilidad del sujeto; b) el índice de la dificultad del reactivo; y c) la probabilidad de que un sujeto de muy baja habilidad pueda contestar un reactivo correctamente, es decir adivinando.

Con el fin de que las tres versiones elaboradas de la PAEP fueran paralelas o equivalentes, se utilizó el método de Tucker que consiste en utilizar reactivos comunes a las tres pruebas. Este modelo permite que los puntajes en las diferentes versiones sean comparables para que ningún candidato se vea afectado por la forma que presente. Este procedimiento de conversión se llama ‘calibración de puntajes’.

III. METODOLOGÍA

La PAEP está diseñada con una estructura tridimensional con los siguientes componentes: un primer aspecto de aptitud académica (habilidades de razonamiento verbal y matemático); un segundo aspecto de habilidad cognitiva y una tercera sección de conocimiento académico (redacción e inglés como herramienta de trabajo). Estos tres componentes están divididos en la prueba en las siguientes cinco áreas: Razonamiento Verbal, Razonamiento Matemático, Habilidad Cognitiva, Redacción e Inglés. En total, la PAEP tiene 170 reactivos divididos de la siguiente manera: Razonamiento Verbal: 52, Razonamiento Matemático: 40, Habilidad Cognitiva: 28, Redacción: 25 e Inglés : 25. El diseño del número de reactivos para cada sección fue dado de acuerdo a los tres componentes de la prueba, teniendo como parte principal el componente de aptitud (verbal y matemático).

Además, la PAEP incluye el desarrollo de una composición que se valora objetivamente por un Comité de Lectores. Existen diferentes temas para cada aplicación. Para evaluar objetivamente las composiciones, se utilizó una metodología especial en donde cada composición es leída por al menos dos lectores independientes; la valoración se da en una escala de 6 puntos, sumándose las puntuaciones de los dos lectores a una escala de 12 puntos. El lector deberá evaluar básicamente en tres rangos (excelente, regular y malo), teniendo dos puntos en cada uno de los rangos. En caso de que los dos lectores no coincidan al dar la evaluación de rango, la composición es evaluada por un tercer o cuarto lector.

Los puntajes finales de la prueba se ofrecen en una escala de 200-800. Al mismo tiempo la prueba arroja cinco puntajes parciales, uno para cada una de las áreas; éstos se dan en una escala de 20-80, pudiendo de esta manera observar el comportamiento de los candidatos en las diferentes secciones. El desarrollo de la prueba se realizó de acuerdo al siguiente procedimiento:

RESUMEN DESCRIPTIVO

Forma	Muestra	Reactivos	Mínimo	Máximo	Media Arit.	Mediana	Des. Est.
A	459	170	34	134	84.264	83	18.937
B	514	170	27	146	89.696	90	22.463
C	587	170	18	140	86.165	85	19.992