como-llenar-cuestionarioTodo curso o jornada que se precie deberá de finalizar con un cuestionario de valoración que cumplimentarán los asistentes. Éstos valorarán diversos aspectos de la actividad formativa en general y de los ponentes o formadores en particular.

Muchos son los cuestionarios que se pueden localizar por Internet (o que podemos diseñar como gestores de formación) para valorar una actividad formativa, si bien la gran mayoría organiza la valoración de los principales elementos a través de diversos ítems.

Así por ejemplo, es muy común valorar elementos como las instalaciones y medios técnicos, el diseño del curso, la organización, la duración, la plataforma (en modalidad online), etc. Y sobre los formadores se suele valorar su capacidad de comunicación, su capacidad de organización, sus conocimientos, etc.

Dos posibles situaciones: que el cuestionario sea de nueva implantación o que el cuestionario lleve tiempo implantado, pero se desee modificar.

En el primer caso cabe preguntarse, el nuevo cuestionario, ¿que valoración media global o por grupos tendrá a medio-largo plazo?, y en el segundo caso, ¿como incidirá en la valoración la eliminación o incorporación de ítems en el cuestionario?

Tenemos dos formas de obtener esa aproximación: bien implantando un piloto e “inferir” sus resultados a futuro o bien implantando el cuestionario y “el tiempo nos dirá”. Elegiremos el primer caso.

La simulación

Según R. E. Shannon: “La simulación es el proceso de diseñar un modelo de un sistema real y llevar a término experiencias con él, con la finalidad de comprender el comportamiento del sistema o evaluar nuevas estrategias para el funcionamiento del sistema”.

Los simuladores nos permiten, tras su diseño, experimentar con un sistema modelado e inferir conclusiones. En nuestro caso nos proponemos modelar el sistema de valoración del cuestionario, con sus ítems, sus respuestas y sus frecuencias para, a partir de ese conjunto de datos (muestra), inferir valoraciones a futuro (generalizar).

Si ya tenemos datos (por ejemplo un cuestionario implantado), podremos simular qué ocurre cuando eliminamos algunas preguntas. Si es un cuestionario nuevo, o son preguntas nuevas en el cuestionario implantado, habrá que hacer un “piloto” para obtener algunos datos reales (muestra) con los que poder “inferir” resultados.

Como hipótesis de trabajo tenemos que cada ítem cuantitativo se valora de 1 a 5 (de peor a mejor), y que cada curso tendrá unos 20 alumnos (por lo que se cumplimentarán unos 20 cuestionarios/curso).

El número de cuestionarios (tamaño muestral) a cumplimentar en el piloto ha de ser representativo del universo (población) de cuestionarios/año. Podemos ver en esta tabla estadística su número, de forma que la muestra sea representativa. En general es suficiente con un grado de confianza del 95% y una tasa de error del 3%.

En el ejemplo supondremos que hemos realizado 24 cursos de 20 alumnos por curso, lo que arrojaría un total de 480 cuestionarios.

El simulador

El simulador tendrá un diseño modular y para este trabajo construido en Excel. En primer lugar crearemos los ítems (los del cuestionario) que van a ser puntuados por los alumnos, por ejemplo el grupo de preguntas de valoración general. Cada ítem contendrá, para cada curso valorado, la media de las puntuaciones otorgadas por los alumnos para ese ítem, constituyendo por tanto una matriz de puntuaciones.

Tendremos tantas filas como cursos se hayan valorado en el piloto, y redondearemos las medias de cada celda a un decimal. Mostraremos medias por ítem/curso, la desviación típica por ítem (para ver la dispersión de las medias) y la mediana por ítem (valor central).

simula-1
Ejemplo de matriz de puntuaciones – resultados cursos piloto

El contador de valores almacenará el número de veces que aparece cada valor en la matriz de puntuaciones y su frecuencia. Cada ítem tendrá un contador para los valores: 1, 1.1, 1.2, 1.3, …. 3, 3.1, 3.2, 3.3 …. 4.3, 4.4, 4.5 y 5.

simula-5
Ejemplo de contador de valores. En el ejemplo vemos que en el Ítem 1 el valor 4,2 tiene una frecuencia de un 4%

El distribuidor de frecuencias contendrá, en un rango de 1 a 100, las veces que cada valor aparece en su contador de frecuencias. Cada ítem tendrá un distribuidor de frecuencias. Por tanto si un número aparece 2 veces en el contador de valores, y por tanto una frecuencia de, p.e., un 10%, ese valor se anotará 10 veces en el distribuidor de frecuencias.

simula-4
Ejemplo de distribuidor de frecuencias en base al contador de valores. En el ejemplo podemos ver que para el Ítem 1 el valor 4,2 tiene una frecuencia de un 4%

El generador random, donde se mostrará (en una matriz de la misma dimensión que la de puntuaciones) un número aleatorio del 1 al 100.

zz-1
Instantánea generador random. Fórmula de cada celda ENTERO(ALEATORIO() * 99 + 1)

La matriz de simulación, similar a la matriz de puntuaciones, que recogerá para cada celda, y en base a su aleatorio correspondiente (del generador random), el valor “localizado” de la matriz de frecuencias de ese ítem.

Así, según el ejemplo anterior, para la celda 1 del ítem 1 el aleatorio correspondiente en el generador random es el 90. Buscamos el ordinal 90 (Rango) en la matriz de frecuencias, y para el ítem 1 su valor correspondiente es el 4,9. Ese es el valor que se carga en esa celda de la matriz de simulación.

zz-2

Matriz de simulación. Instantánea tras el ciclo 91 (CONTA). Cada celda obtiene su valor del distribuidor de frecuencias, en base al número aleatorio que le corresponde. Fórmula BUSCARV(celda_generador_random;matriz_distribuidor_frecuencias;columna_item)

Las tendencias simuladas, con la media general y los valores máximo y mínimo de las medias que hayamos generado en el simulador (las vemos a la derecha de la imagen anterior). El objetivo es conocer hacia donde tiende la media tras un número alto de intentos (CONTA), y el valor máximo y mínimo de las medias generadas.

Trabajando con el simulador

Tal y como he comentado al inicio, este simulador de cuestionarios se ha desarrollado en Excel, pero se podría haber desarrollado bajo algún lenguaje de programación.

simula-8Señalar que varios de los elementos de la zona de tendencias simuladas hacen referencia a su propio valor actual. operando también con la media generada en cada ciclo. Por tanto esas celdas presentan “referencias circulares”. Excel NO permite por defecto incluir referencias circulares en las celdas, mostrándolo como un error y evitando que se ejecute las fórmulas introducida en dichas celdas.

Para poder activar las referencias circulares en Excel hay que “tocar” en “Opciones, Calcular” y activar la opción de iteración. Pondremos el nº máximo de iteraciones a 1. De esta forma cada vez que pulsemos F9 se “simulará” la cumplimentación de 1 cuestionario, y veremos los efectos que tiene en las tendencias. Si dejamos F9 pulsado, la velocidad de ciclo es “espectacular”.

Para poder “inicializar” todos los contadores de tendencias pondremos un “NO” en la celda “ITERAMOS”. Vemos que todos los valores se inician y el contador (CONTA) se pone a 1. Escribiendo ahora un “SI”, el contador saltará a 2 y podremos pulsar F9 hasta obtener el número de ciclos deseados.

Si dejamos pulsado F9 veremos como la tendencia de la media se “estabiliza” a un valor y como los valores máximo y mínimo de la media también se “estabilizan”, con lo que tendremos una estimación muy fiable de estos valores en base a la distribución de frecuencias obtenida en la fase piloto del sistema.

Modificar un cuestionario existente

Si lo que deseamos es modificar un cuestionario existente, el simulador nos permitirá analizar la tendencia de sus estadísticos en función de que se eliminen o inserten nuevos ítems en el mismo.

Por ejemplo, si deseamos sustituir un par de ítems por otros nuevos lo que haremos es realizar el piloto con esos nuevos ítems para ver las frecuencias obtenidas a partir de la muestra. Sobre los ítems “viejos” señalar que tienen un histórico de valoraciones que hemos de mantener, ya que son el resultado de muchos cuestionarios cumplimentados.

Por tanto mantendremos los valores y frecuencias de los ítems “viejos” e introduciremos los valores y frecuencias obtenidas en el piloto para los ítems “nuevos”. Lanzaremos la simulación como en el caso general ya comentado para nuevos cuestionarios.

Conclusiones

El diseño de simuladores es un trabajo muy interesante. Con esta técnica podremos modelar una gran variedad de sistemas, como por ejemplo la evolución de una fila en una ventanilla de atención a clientes,  la gestión de expedientes en un flujo de trabajo o la simulación de una cadena de suministros entre otros.

Si deseas recibir el software Simulador de cuestionarios en Excel contacta con valentingom@gmail.com (valentingom.com).

Anuncios