Cómo construir un test de aprovechamiento que habilita
Una guía práctica para diseñar la prueba que decide si un maestrante consolidó los resultados de aprendizaje de su perfil de egreso. Cada módulo combina explicación, herramientas que calculan con datos reales y una comprobación final.
El caso de trabajo es la Maestría en Educación con mención en Investigación Educativa de la Universidad Técnica de Machala: 10 asignaturas, 1440 horas y 18 resultados de aprendizaje.
Las 100 preguntas del test, repartidas por la malla
Tu ruta de aprendizaje
Los módulos siguen el orden en que se construye la prueba. Un módulo queda completado cuando respondes bien al menos dos de sus tres preguntas finales.
Fundamentos
Qué es un test de aprovechamiento, por qué una prueba de habilitación es referida a criterio y por qué esta guía clasifica los resultados de aprendizaje con la taxonomía SOLO.
El test es una muestra del dominio
El test de aprovechamiento es un procedimiento sistemático para determinar el grado en que se lograron los resultados de aprendizaje previstos (Gronlund, 1974). Funciona como muestra de un dominio: toda inferencia sobre lo que el egresado domina depende de que la muestra sea representativa. Esa representatividad se construye antes de redactar una pregunta, con una tabla de especificaciones.
La tabla hace explícita la decisión sobre qué se pregunta y en qué proporción. Con ella, la autoridad comprueba antes de aplicar la prueba si representa el programa aprobado.
Las cinco operaciones del procedimiento
Toca cada paso para ver su contenido.
Norma o criterio
La prueba de habilitación es referida a criterio
Establece qué domina el evaluado respecto de un conjunto definido de resultados, con independencia de su posición en el grupo (Glaser, 1963; Popham y Husek, 1969). Esa elección cambia la construcción: los reactivos se eligen por su representatividad, la discriminación que importa ocurre en torno al punto de corte y la confiabilidad exigible es la de la decisión de habilitar (Gronlund, 1973).
Una prueba armada con criterios normativos elegiría reactivos por su capacidad de dispersar puntajes y perdería cobertura del perfil de egreso.
De Bloom a SOLO
La taxonomía de Bloom clasifica procesos cognitivos según la operación que pide una tarea (Bloom et al., 1956). Un resultado de aprendizaje del perfil describe un desempeño integrado, que articula conocimientos, procedimientos y criterio en un contexto. Clasificarlo por su verbo lo reduce a una sola operación.
La taxonomía SOLO clasifica la estructura de lo aprendido: cuántos elementos maneja el estudiante y cómo los relaciona (Biggs y Collis, 1982). Los dos primeros niveles con contenido suman elementos; los dos superiores los integran y los transfieren (Biggs y Tang, 2011). Cada reactivo mide un resultado en el nivel en que fue declarado.
Practica: clasifica resultados de la mención
Elige el nivel SOLO de cada resultado de aprendizaje y comprueba. Fíjate en la estructura del desempeño, no solo en el verbo.
La validez se demuestra con un argumento
La validez es un juicio integrado sobre la adecuación de las inferencias y acciones basadas en los puntajes (Messick, 1989). Pertenece a la interpretación, y se demuestra enunciando esa interpretación y reuniendo evidencia para cada supuesto (Kane, 2013).
La interpretación que sostiene esta prueba es que quien supera el corte consolidó los resultados del perfil. La confiabilidad es condición de ese argumento, sobre todo la de la decisión en torno al corte (Subkoviak, 1976).
Comprueba lo aprendido
Base curricular y planificación
El test toma su contenido del diseño aprobado: perfil de egreso, ejes, carga de las asignaturas y tributación a cada resultado. Aquí construyes la tabla de especificaciones de la mención.
Los 18 resultados de aprendizaje de la mención
El perfil es común a tres menciones. Incluía un resultado sobre intervenciones con fundamento neurocientífico, propio de la mención en Procesos de Aprendizaje; se excluye. Cada resultado restante recibe un nivel SOLO y un coeficiente de complejidad c: 2 multiestructural, 3 relacional, 4 abstracto ampliado.
Malla, ejes y tributación
Las diez asignaturas tienen 144 horas. La carga reparte el test en partes iguales, y la diferenciación queda en manos de la tributación y la complejidad. La unidad de formación disciplinar avanzada actúa como eje de formación profesional; los seminarios de titulación se integran al eje de investigación porque sus contenidos son evaluables con reactivos.
La matriz registra cuánto aporta cada asignatura a cada resultado: 3 alta, 2 media, 1 baja. Se construye por cercanía entre ecosistemas de contenidos: en una mención cuyo objeto de estudio es la investigación educativa, las asignaturas pedagógicas aportan el objeto y las metodológicas el modo de investigarlo.
Toca una asignatura para resaltar su fila.
Calculadora de la tabla de especificaciones
El modelo reparte los reactivos en cascada: primero por eje según su carga y el factor de prioridad f; luego por asignatura según su carga; por último entre los resultados de cada asignatura en proporción a tributación por complejidad (t · c). Los valores se redondean por el mayor resto, que conserva el total exacto.
Reactivos por resultado de aprendizaje
En naranja, los resultados por debajo del mínimo: se informan agregados por dimensión del perfil.
Distribución por dimensión y nivel SOLO
Tabla por asignatura
Comprueba lo aprendido
Construcción y validación de reactivos
Cada reactivo se redacta para una celda de la tabla: una asignatura, un resultado y un nivel SOLO. Después, un panel de expertos juzga si cumple lo que promete.
Anatomía de un reactivo
El formato es de opción múltiple con una sola respuesta correcta. Tres opciones bastan, porque el tercer distractor rara vez funciona (Rodriguez, 2005); la guía admite tres o cuatro, con número uniforme en la forma. Los distractores representan errores conceptuales frecuentes.
| Nivel SOLO | Tarea que pide el reactivo |
|---|---|
| Multiestructural | Clasificar, describir o ejecutar un procedimiento con varios elementos |
| Relacional | Integrar elementos para explicar, comparar o resolver un caso |
| Abstracto ampliado | Transferir a una situación nueva, juzgar propuestas o elegir la mejor alternativa |
Reglas de redacción
- La base plantea un solo problema, comprensible sin leer las opciones, en forma afirmativa.
- Las opciones son homogéneas en contenido, estructura y longitud, sin pistas hacia la clave.
- Los distractores son plausibles y representan errores frecuentes.
- No se usan «todas las anteriores» ni «ninguna de las anteriores».
- La posición de la clave se distribuye de forma equilibrada.
- El vocabulario es técnico y preciso, sin complejidad ajena al contenido.
Reglas consolidadas de Gronlund (1974) y Haladyna et al. (2002).
Ejercicios interpretativos
Son series de tres a seis reactivos sobre un material común que obliga a integrar información (Gronlund, 1974). En esta mención, el material natural es un caso de investigación educativa: un problema situado, un diseño, instrumentos y resultados. Sobre un mismo caso se cruzan reactivos de diseños, técnicas, muestreo, análisis y pedagogía.
Practica: encuentra el defecto
Cada reactivo incumple una regla. Elige cuál.
Juicio de expertos y coeficiente V de Aiken
Un panel de cinco a diez jueces (Escobar-Pérez y Cuervo-Martínez, 2008) califica de 1 a 4 cada reactivo en congruencia con el resultado, correspondencia con el nivel SOLO, claridad y plausibilidad de los distractores. También juzga la clasificación SOLO y la matriz de tributación. Si un juez objeta la clave, el reactivo se revisa.
rₖ: calificación del juez k · l: mínimo de la escala · n: jueces · q: categorías (Aiken, 1985). Intervalo de confianza de Penfield y Giacobbi (2004) al 95 %.
Umbrales de la guía: V ≥ 0,80 se conserva; entre 0,70 y 0,79 se revisa y pasa a segunda ronda; por debajo de 0,70 se descarta.
Calificaciones del panel
Comprueba lo aprendido
Análisis psicométrico y ensamblaje
El juicio de expertos dice que un reactivo debería funcionar; el pilotaje comprueba si funciona. Este laboratorio analiza los 20 reactivos de referencia con datos simulados o con los tuyos.
Los índices que se levantan
Dificultad. Proporción de aciertos, p = A/N. En una prueba referida a criterio expresa el logro del resultado; el rango de trabajo es 0,30 a 0,80 (Gronlund, 1973).
Discriminación. El índice D compara aciertos del 27 % superior y del 27 % inferior (Kelley, 1939): 0,40 o más excelente, 0,30 bueno, 0,20 aceptable con revisión, menos de 0,20 deficiente (Ebel y Frisbie, 1991). La correlación punto-biserial corregida usa a todos los evaluados. El índice B mide la discriminación en el punto de corte (Brennan, 1972).
Distractores. Funcionan si los elige al menos el 5 %, si atraen más al grupo inferior y si ninguno atrae más que la clave al grupo superior (Haladyna y Rodriguez, 2013).
Confiabilidad. KR-20 de 0,80 como mínimo para decisiones de alto impacto (Kuder y Richardson, 1937; Nunnally y Bernstein, 1994), error estándar de medida y consistencia de la decisión k² (Livingston, 1972).
Datos del pilotaje
Datos simulados con un modelo logístico. La muestra incluye a propósito un reactivo con baja discriminación, un distractor que nadie elige y un distractor que atrae al grupo superior.
Toca un reactivo para ver el comportamiento de sus opciones. La decisión usa la correlación corregida, más estable con muestras pequeñas.
Decisión por reactivo
| Condición | Decisión |
|---|---|
| r ≥ 0,30, distractores funcionales y p entre 0,30 y 0,90 | Operativo |
| r entre 0,20 y 0,29, o algún distractor sin funcionar | Revisión |
| r < 0,20 con p fuera de 0,20 – 0,90 | Retiro |
| Discriminación negativa o distractor más atractivo que la clave para el grupo superior | Revisar clave |
Ensamblaje de la forma definitiva
La forma se arma con reactivos operativos y respeta la tabla celda por celda: el reactivo retirado se reemplaza por otro de la misma asignatura, resultado y nivel SOLO. Concentra reactivos de dificultad media en torno al corte, agrupa por eje y asignatura, presenta cada ejercicio interpretativo completo y distribuye la clave sin patrones.
Las cohortes de maestría son pequeñas: los índices con menos de 100 casos son provisionales. Las asignaturas comunes a las tres menciones pueden pilotarse con la población de todo el programa.
Comprueba lo aprendido
Habilitación y uso de resultados
El punto de corte es una decisión normativa sustentada en juicio experto. Aquí lo fijas con el método de Angoff, eliges la regla de decisión y lees el informe del programa.
Método de Angoff modificado
Un panel de ocho a doce jueces describe al egresado mínimamente competente: el que apenas alcanza el nivel exigido. Cada juez estima la probabilidad de que ese egresado acierte cada reactivo; tras ver los datos del pilotaje, revisa sus estimaciones. El corte es la suma de las medias (Angoff, 1971; Cizek y Bunch, 2007).
Ajusta las estimaciones medias del panel para los 20 reactivos. La franja naranja es ± 1 error estándar de medida, calculado con los datos del módulo 4.
Regla de decisión
Por qué la guía recomienda la regla mixta
La compensatoria usa todos los reactivos y da la decisión más confiable, pero permite que un eje fuerte encubra uno deficiente. La conjuntiva exige cortes en cada eje y obliga a ampliar el test. La mixta exige el corte global y un mínimo en formación profesional: protege el eje que define la especialidad sin fragmentar la prueba.
Con oportunidad de repetición se usa el corte nominal. La repetición corrige el falso negativo; un corte rebajado introduciría habilitaciones sin respaldo en el puntaje. Cada repetición usa una forma paralela equiparada.
Informe de programa
El índice de consolidación de un resultado, IC, es la media de la dificultad de sus reactivos. El índice del programa, ICP, pondera esos valores con el peso de cada resultado en la tabla, de modo que hereda la ponderación curricular. Un IC menor que 0,60 en dos cohortes consecutivas activa una alerta.
El análisis sigue un orden: primero se revisan los reactivos; después, si las asignaturas trabajan el resultado en el nivel declarado; por último, si la tributación y la carga bastan.
Índice de consolidación por resultado (muestra de 20 reactivos)
En rojo, resultados en alerta. Con la forma completa de 100 reactivos se informan por separado los resultados con seis o más reactivos y el resto por dimensión.
Comprueba lo aprendido
Test de referencia de la mención
Veinte reactivos que reproducen a escala la configuración ideal de la prueba: 12 de formación profesional y 8 de investigación, 6 abstractos ampliados, 12 relacionales y 2 multiestructurales, con la clave repartida cinco veces por posición. Son ilustrativos: antes de usarse pasan por juicio de expertos y pilotaje.
Ficha técnica
| Propósito | Determinar la consolidación de los 18 resultados del perfil y decidir la habilitación |
|---|---|
| Forma completa | 100 reactivos: 60 de formación profesional y 40 de investigación con titulación integrada; 10 por asignatura |
| Muestra | 20 reactivos, 2 por asignatura |
| Formato | Opción múltiple con cuatro opciones; dos ejercicios interpretativos |
| Tiempo | Forma completa 160 minutos con pausa; muestra 45 minutos |
| Regla | Mixta: corte global y mínimo en formación profesional |
| Corte | Angoff modificado, tras el pilotaje |
Configuración de la muestra
Glosario y referencias
Los términos técnicos de la guía y las fuentes que la sostienen, en formato APA.