examen-psicometricoUn cuestionario es un proceso estructurado de recogida de información a través de la cumplimentación de una serie predeterminada de preguntas. De esta forma a todos los participantes se les formulan las mismas preguntas. Existen dos grandes grupos de cuestionarios: los que se utilizan para encuestas y los que se utilizan para pruebas.

Usualmente, un cuestionario consta de una serie de preguntas (ítems) que el consultado/evaluado tiene que responder en un formato determinado. Se hace una distinción entre preguntas abiertas y preguntas cerradas. Para este caso de estudio nos centraremos en cuestionarios elaborados para pruebas y con preguntas cerradas de opción múltiple en las que los examinados pueden seleccionar una o varias de las opciones de una lista de respuestas.

Factores de interés

Por qué utilizar los cuestionarios

  • Son una herramienta potente y flexible para evaluar ciertos conocimientos de los alumnos.
  • Pueden usarse como pruebas de evaluación diagnóstica: saber de dónde partimos con nuestros alumnos (pre-test).
  • Nos permite aproximarnos al nivel de competencia curricular de cada alumno con facilidad.
  • Permiten un importante ahorro de tiempo de corrección.

Para qué utilizar los cuestionarios

Lo primero que hay que hacer es usar estrategias de diseño de preguntas. Si plantemos buenas preguntas obtendremos datos muy útiles sobre la capacidad de nuestros alumnos y su comprensión del material presentado. A continuación señalamos algunas pistas sobre cómo diseñar preguntas de manera efectiva:

  • Enfocar cada pregunta hacia los objetivos definidos en la unidad didáctica.
  • Intentar hacer múltiples preguntas sobre cada idea importante de la unidad. Eso nos dará más datos sobre la comprensión de los alumnos.
  • Cuando se redacte una pregunta con opción de respuesta múltiple, asegúrate de que cada respuesta incorrecta represente un error común.
  • Incluir preguntas de comprensión, de análisis y de aplicación.

Número de preguntas a de incluir en un cuestionario

  • Tendrá un número suficiente y representativo del tema sobre el que se pregunta.
  • Para pruebas evaluables, calcular 1 minuto por pregunta. Evitar excederse de 90 preguntas (hora y media de duración de la prueba).

Análisis de preguntas (ítems) del cuestionario

Una vez finalizado el curso, realizaremos el que posiblemente sea el análisis más útil para el profesor. Se trata de organizar las respuestas de manera que permitan una reflexión rápida sobre las preguntas y sobre los alumnos. Veamos.

Primer paso: ordenación

El primer paso consiste en ordenar los alumnos de mayor a menor según su puntuación total en la prueba (según el número de respuestas correctas en el cuestionario), y se seleccionan el 25% con puntuación total más alta (grupo superior) y el 25% con puntuación total más baja (grupo inferior). También se escogen a veces el 27% o el 33% con totales más altos y más bajos, pero el 25% es un porcentaje cómodo y suficiente.

Segundo paso: tabulación de respuestas

Se tabulan las respuestas de estos dos grupos en cada ítem, de manera que se pueda ver cuántos de cada grupo, superior e inferior, han escogido cada opción. Por ejemplo:

tabla_items
Ejemplo tabla de 3 preguntas con 4 respuestas por pregunta. En cada celda, arriba nº respuestas correctas grupo superior y abajo nº respuestas correctas grupo inferior.

En este ejemplo suponemos que tenemos 40 alumnos, de estos 40 alumnos hemos escogido los 10 con el total más alto y los 10 con el total más bajo (el 25% de los mejores resultados y el 25% de los peores resultados).

En la tabla anterior tenemos cómo se han distribuido las respuestas entre las cuatro opciones de cada pregunta: en el supuesto numerador tenemos el número de alumnos del grupo superior que ha escogido cada opción, y debajo el número de alumnos del grupo inferior que ha escogido esa misma opción; la respuesta correcta está señalada con un asterisco. Esta mera tabulación de frecuencias se presta ya a una serie de consideraciones aun sin conocer el contenido de las preguntas (como sucede en este ejemplo):

  • Item nº 1:
    La alternativa correcta (la A) la han escogido todos y solo los del grupo superior: se trata de una pregunta que discrimina muy bien; diferencia claramente a los que saben de los que no saben.
    Los del grupo inferior se han ido casi todos a la opción D: es una buena alternativa incorrecta, que atrae al que no sabe o no entiende (distractor); sabemos dónde o porqué fallan los que saben menos (qué confunden con qué). Un resultado de este tipo nos dice dónde fallan los que menos saben.

Esta presentación de los datos puede tener un claro valor diagnóstico. La alternativa C no la ha escogido nadie, ni siquiera los que menos saben. En otra edición convendrá modificarla, y si observamos que con frecuencia hay alguna opción que no la escoge nadie o muy pocos (y esto sucede con mucha frecuencia), podremos pensar en pasar de cuatro a tres alternativas.

  • Item nº 2:
    Los que más saben se distribuyen entre dos alternativas, la B (correcta) y la A (incorrecta). Es posible que las dos sean correctas, o que la pregunta sea ambigua; al menos se trata de una pregunta que conviene examinar. La opción C también es un buen distractor que atrae a los que no conocen la respuesta correcta.
  • Item nº 3:
    Aquí tenemos un resultado anómalo: los que aciertan son sobre todo los que menos saben. El grupo superior prefiere la opción A (incorrecta). Nos podemos preguntar: ¿Estará mal la clave de corrección? En cualquier caso una pregunta que favorece a los que menos saben es en principio una mala pregunta y habrá que examinarla.

 

Índices interesantes

indices

Veamos algunos índices basados en el método anterior:

  • Índice de facilidad (Df):

indice_fac

Un valor 1 nos indica que la pregunta es muy fácil, pues la aciertan todos los alumnos analizados.

indice_fac1

  • Índice de discriminación (Dc):

indice_disc

Indica en qué medida la pregunta o ítem diferencia a los que más y menos saben. Si todos responden entonces la pregunta es muy fácil, y si todos fallan la pregunta es muy difícil.

indice_disc1

  • Análisis de distractores: Nos informa del nº de alumnos del grupo superior (25%) y del grupo inferior (25%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan y cuántos “se distraen”. Recordemos que un buen distractor es aquella pregunta que “atrae” a los que menos saben.

 

Índices de dificultad y discriminación referidos a todo el test

De manera análoga se pueden calcular los índices de dificultad y discriminación referidos a todo el test (cuestionario), si bien hay que ser más cuidadoso en su interpretación con muestras pequeñas:

indice_fac_test

Se trata simplemente de la proporción de respuestas que corresponde a la media; en un test de 40 preguntas si la media es igual a 30.5, el índice de dificultad será 30.5/40 = 0.76 (la media de respuestas correctas es del 76%).

Este índice es útil para comparar la dificultad de varios cuestionarios (o distintas partes del mismo) sobre todo si tienen un número distinto de ítems.

indice_disc_test

Este índice equivale a la diferencia máxima obtenida dividida por la diferencia máxima posible (o lo que es lo mismo, la amplitud dividida por el número de ítems). Si en un test de 40 preguntas y la puntuación mayor es de 35 y la más baja es de 20, el índice de discriminación sería (35-20)/40 = 0.375.

La información que nos da este índice puede ser cuestionable porque se puede ver afectado por unas pocas puntuaciones extremas y muy atípicas, aun así puede ser útil para comparar la discriminación en tests con distinto número de ítems o el mismo test en grupos distintos. También se puede calcular excluyendo a los sujetos con puntuaciones muy extremas y atípicas (y advirtiéndolo en este caso).

Anuncios