Test de aprovechamiento

Cómo construir un test de aprovechamiento que habilita

Una guía práctica para diseñar la prueba que decide si un maestrante consolidó los resultados de aprendizaje de su perfil de egreso. Cada módulo combina explicación, herramientas que calculan con datos reales y una comprobación final.

El caso de trabajo es la Maestría en Educación con mención en Investigación Educativa de la Universidad Técnica de Machala: 10 asignaturas, 1440 horas y 18 resultados de aprendizaje.

Las 100 preguntas del test, repartidas por la malla

Formación profesional · 60Investigación y titulación · 40

Tu ruta de aprendizaje

Los módulos siguen el orden en que se construye la prueba. Un módulo queda completado cuando respondes bien al menos dos de sus tres preguntas finales.

Módulo 1

Fundamentos

Qué es un test de aprovechamiento, por qué una prueba de habilitación es referida a criterio y por qué esta guía clasifica los resultados de aprendizaje con la taxonomía SOLO.

El test es una muestra del dominio

El test de aprovechamiento es un procedimiento sistemático para determinar el grado en que se lograron los resultados de aprendizaje previstos (Gronlund, 1974). Funciona como muestra de un dominio: toda inferencia sobre lo que el egresado domina depende de que la muestra sea representativa. Esa representatividad se construye antes de redactar una pregunta, con una tabla de especificaciones.

La tabla hace explícita la decisión sobre qué se pregunta y en qué proporción. Con ella, la autoridad comprueba antes de aplicar la prueba si representa el programa aprobado.

Las cinco operaciones del procedimiento

Toca cada paso para ver su contenido.

Norma o criterio

La prueba de habilitación es referida a criterio

Establece qué domina el evaluado respecto de un conjunto definido de resultados, con independencia de su posición en el grupo (Glaser, 1963; Popham y Husek, 1969). Esa elección cambia la construcción: los reactivos se eligen por su representatividad, la discriminación que importa ocurre en torno al punto de corte y la confiabilidad exigible es la de la decisión de habilitar (Gronlund, 1973).

Una prueba armada con criterios normativos elegiría reactivos por su capacidad de dispersar puntajes y perdería cobertura del perfil de egreso.

De Bloom a SOLO

La taxonomía de Bloom clasifica procesos cognitivos según la operación que pide una tarea (Bloom et al., 1956). Un resultado de aprendizaje del perfil describe un desempeño integrado, que articula conocimientos, procedimientos y criterio en un contexto. Clasificarlo por su verbo lo reduce a una sola operación.

La taxonomía SOLO clasifica la estructura de lo aprendido: cuántos elementos maneja el estudiante y cómo los relaciona (Biggs y Collis, 1982). Los dos primeros niveles con contenido suman elementos; los dos superiores los integran y los transfieren (Biggs y Tang, 2011). Cada reactivo mide un resultado en el nivel en que fue declarado.

Practica: clasifica resultados de la mención

Elige el nivel SOLO de cada resultado de aprendizaje y comprueba. Fíjate en la estructura del desempeño, no solo en el verbo.

La validez se demuestra con un argumento

La validez es un juicio integrado sobre la adecuación de las inferencias y acciones basadas en los puntajes (Messick, 1989). Pertenece a la interpretación, y se demuestra enunciando esa interpretación y reuniendo evidencia para cada supuesto (Kane, 2013).

La interpretación que sostiene esta prueba es que quien supera el corte consolidó los resultados del perfil. La confiabilidad es condición de ese argumento, sobre todo la de la decisión en torno al corte (Subkoviak, 1976).

1
Los reactivos representan el perfil y la mallaEvidencia: tabla de especificaciones y juicio de expertos. Módulos 2 y 3.
2
Los reactivos funcionan como se previóEvidencia: dificultad, discriminación, distractores y consistencia interna. Módulo 4.
3
El corte separa de modo estableEvidencia: fijación del corte y consistencia de la decisión. Módulos 4 y 5.

Comprueba lo aprendido

Módulo 2

Base curricular y planificación

El test toma su contenido del diseño aprobado: perfil de egreso, ejes, carga de las asignaturas y tributación a cada resultado. Aquí construyes la tabla de especificaciones de la mención.

Los 18 resultados de aprendizaje de la mención

El perfil es común a tres menciones. Incluía un resultado sobre intervenciones con fundamento neurocientífico, propio de la mención en Procesos de Aprendizaje; se excluye. Cada resultado restante recibe un nivel SOLO y un coeficiente de complejidad c: 2 multiestructural, 3 relacional, 4 abstracto ampliado.

Malla, ejes y tributación

Las diez asignaturas tienen 144 horas. La carga reparte el test en partes iguales, y la diferenciación queda en manos de la tributación y la complejidad. La unidad de formación disciplinar avanzada actúa como eje de formación profesional; los seminarios de titulación se integran al eje de investigación porque sus contenidos son evaluables con reactivos.

La matriz registra cuánto aporta cada asignatura a cada resultado: 3 alta, 2 media, 1 baja. Se construye por cercanía entre ecosistemas de contenidos: en una mención cuyo objeto de estudio es la investigación educativa, las asignaturas pedagógicas aportan el objeto y las metodológicas el modo de investigarlo.

Toca una asignatura para resaltar su fila.

Calculadora de la tabla de especificaciones

El modelo reparte los reactivos en cascada: primero por eje según su carga y el factor de prioridad f; luego por asignatura según su carga; por último entre los resultados de cada asignatura en proporción a tributación por complejidad (t · c). Los valores se redondean por el mayor resto, que conserva el total exacto.

nₑ = N · Hₑfₑ / Σ Hf   →   nᵢ = nₑ · hᵢ / Hₑ   →   nᵢⱼ = nᵢ · tᵢⱼcⱼ / Σ tᵢⱼcⱼ

Reactivos por resultado de aprendizaje

En naranja, los resultados por debajo del mínimo: se informan agregados por dimensión del perfil.

Distribución por dimensión y nivel SOLO

Tabla por asignatura

Comprueba lo aprendido

Módulo 3

Construcción y validación de reactivos

Cada reactivo se redacta para una celda de la tabla: una asignatura, un resultado y un nivel SOLO. Después, un panel de expertos juzga si cumple lo que promete.

Anatomía de un reactivo

El formato es de opción múltiple con una sola respuesta correcta. Tres opciones bastan, porque el tercer distractor rara vez funciona (Rodriguez, 2005); la guía admite tres o cuatro, con número uniforme en la forma. Los distractores representan errores conceptuales frecuentes.

Nivel SOLOTarea que pide el reactivo
MultiestructuralClasificar, describir o ejecutar un procedimiento con varios elementos
RelacionalIntegrar elementos para explicar, comparar o resolver un caso
Abstracto ampliadoTransferir a una situación nueva, juzgar propuestas o elegir la mejor alternativa

Reglas de redacción

  1. La base plantea un solo problema, comprensible sin leer las opciones, en forma afirmativa.
  2. Las opciones son homogéneas en contenido, estructura y longitud, sin pistas hacia la clave.
  3. Los distractores son plausibles y representan errores frecuentes.
  4. No se usan «todas las anteriores» ni «ninguna de las anteriores».
  5. La posición de la clave se distribuye de forma equilibrada.
  6. El vocabulario es técnico y preciso, sin complejidad ajena al contenido.

Reglas consolidadas de Gronlund (1974) y Haladyna et al. (2002).

Ejercicios interpretativos

Son series de tres a seis reactivos sobre un material común que obliga a integrar información (Gronlund, 1974). En esta mención, el material natural es un caso de investigación educativa: un problema situado, un diseño, instrumentos y resultados. Sobre un mismo caso se cruzan reactivos de diseños, técnicas, muestreo, análisis y pedagogía.

Practica: encuentra el defecto

Cada reactivo incumple una regla. Elige cuál.

Juicio de expertos y coeficiente V de Aiken

Un panel de cinco a diez jueces (Escobar-Pérez y Cuervo-Martínez, 2008) califica de 1 a 4 cada reactivo en congruencia con el resultado, correspondencia con el nivel SOLO, claridad y plausibilidad de los distractores. También juzga la clasificación SOLO y la matriz de tributación. Si un juez objeta la clave, el reactivo se revisa.

V = Σ(rₖ − l) / [n(q − 1)]

rₖ: calificación del juez k · l: mínimo de la escala · n: jueces · q: categorías (Aiken, 1985). Intervalo de confianza de Penfield y Giacobbi (2004) al 95 %.

Umbrales de la guía: V ≥ 0,80 se conserva; entre 0,70 y 0,79 se revisa y pasa a segunda ronda; por debajo de 0,70 se descarta.

Calificaciones del panel

V de Aiken
0,85

Comprueba lo aprendido

Módulo 4

Análisis psicométrico y ensamblaje

El juicio de expertos dice que un reactivo debería funcionar; el pilotaje comprueba si funciona. Este laboratorio analiza los 20 reactivos de referencia con datos simulados o con los tuyos.

Los índices que se levantan

Dificultad. Proporción de aciertos, p = A/N. En una prueba referida a criterio expresa el logro del resultado; el rango de trabajo es 0,30 a 0,80 (Gronlund, 1973).

Discriminación. El índice D compara aciertos del 27 % superior y del 27 % inferior (Kelley, 1939): 0,40 o más excelente, 0,30 bueno, 0,20 aceptable con revisión, menos de 0,20 deficiente (Ebel y Frisbie, 1991). La correlación punto-biserial corregida usa a todos los evaluados. El índice B mide la discriminación en el punto de corte (Brennan, 1972).

Distractores. Funcionan si los elige al menos el 5 %, si atraen más al grupo inferior y si ninguno atrae más que la clave al grupo superior (Haladyna y Rodriguez, 2013).

Confiabilidad. KR-20 de 0,80 como mínimo para decisiones de alto impacto (Kuder y Richardson, 1937; Nunnally y Bernstein, 1994), error estándar de medida y consistencia de la decisión k² (Livingston, 1972).

Datos del pilotaje

Datos simulados con un modelo logístico. La muestra incluye a propósito un reactivo con baja discriminación, un distractor que nadie elige y un distractor que atrae al grupo superior.

Toca un reactivo para ver el comportamiento de sus opciones. La decisión usa la correlación corregida, más estable con muestras pequeñas.

Decisión por reactivo

CondiciónDecisión
r ≥ 0,30, distractores funcionales y p entre 0,30 y 0,90Operativo
r entre 0,20 y 0,29, o algún distractor sin funcionarRevisión
r < 0,20 con p fuera de 0,20 – 0,90Retiro
Discriminación negativa o distractor más atractivo que la clave para el grupo superiorRevisar clave

Ensamblaje de la forma definitiva

La forma se arma con reactivos operativos y respeta la tabla celda por celda: el reactivo retirado se reemplaza por otro de la misma asignatura, resultado y nivel SOLO. Concentra reactivos de dificultad media en torno al corte, agrupa por eje y asignatura, presenta cada ejercicio interpretativo completo y distribuye la clave sin patrones.

Las cohortes de maestría son pequeñas: los índices con menos de 100 casos son provisionales. Las asignaturas comunes a las tres menciones pueden pilotarse con la población de todo el programa.

Comprueba lo aprendido

Módulo 5

Habilitación y uso de resultados

El punto de corte es una decisión normativa sustentada en juicio experto. Aquí lo fijas con el método de Angoff, eliges la regla de decisión y lees el informe del programa.

Método de Angoff modificado

Un panel de ocho a doce jueces describe al egresado mínimamente competente: el que apenas alcanza el nivel exigido. Cada juez estima la probabilidad de que ese egresado acierte cada reactivo; tras ver los datos del pilotaje, revisa sus estimaciones. El corte es la suma de las medias (Angoff, 1971; Cizek y Bunch, 2007).

Ajusta las estimaciones medias del panel para los 20 reactivos. La franja naranja es ± 1 error estándar de medida, calculado con los datos del módulo 4.

Corte global
13,2
Mínimo en formación profesional
8,0

Regla de decisión

Por qué la guía recomienda la regla mixta

La compensatoria usa todos los reactivos y da la decisión más confiable, pero permite que un eje fuerte encubra uno deficiente. La conjuntiva exige cortes en cada eje y obliga a ampliar el test. La mixta exige el corte global y un mínimo en formación profesional: protege el eje que define la especialidad sin fragmentar la prueba.

Con oportunidad de repetición se usa el corte nominal. La repetición corrige el falso negativo; un corte rebajado introduciría habilitaciones sin respaldo en el puntaje. Cada repetición usa una forma paralela equiparada.

Informe de programa

El índice de consolidación de un resultado, IC, es la media de la dificultad de sus reactivos. El índice del programa, ICP, pondera esos valores con el peso de cada resultado en la tabla, de modo que hereda la ponderación curricular. Un IC menor que 0,60 en dos cohortes consecutivas activa una alerta.

El análisis sigue un orden: primero se revisan los reactivos; después, si las asignaturas trabajan el resultado en el nivel declarado; por último, si la tributación y la carga bastan.

Índice de consolidación por resultado (muestra de 20 reactivos)

En rojo, resultados en alerta. Con la forma completa de 100 reactivos se informan por separado los resultados con seis o más reactivos y el resto por dimensión.

Comprueba lo aprendido

Módulo 6

Test de referencia de la mención

Veinte reactivos que reproducen a escala la configuración ideal de la prueba: 12 de formación profesional y 8 de investigación, 6 abstractos ampliados, 12 relacionales y 2 multiestructurales, con la clave repartida cinco veces por posición. Son ilustrativos: antes de usarse pasan por juicio de expertos y pilotaje.

Ficha técnica

PropósitoDeterminar la consolidación de los 18 resultados del perfil y decidir la habilitación
Forma completa100 reactivos: 60 de formación profesional y 40 de investigación con titulación integrada; 10 por asignatura
Muestra20 reactivos, 2 por asignatura
FormatoOpción múltiple con cuatro opciones; dos ejercicios interpretativos
TiempoForma completa 160 minutos con pausa; muestra 45 minutos
ReglaMixta: corte global y mínimo en formación profesional
CorteAngoff modificado, tras el pilotaje

Configuración de la muestra

0 de 20 respondidos
Consulta

Glosario y referencias

Los términos técnicos de la guía y las fuentes que la sostienen, en formato APA.

Referencias

Elaborado por

Tomás Fontaines Ruiz

Universidad Técnica de Machala

Programa

Maestría en Educación con mención en Innovación Educativa, Investigación Educativa y Procesos de Aprendizaje