➡️Características técnicas de las pruebas

Habilmind fue constituida en 2009, no obstante, algunas de sus pruebas son anteriores, aunque la mayoría han sido diseñadas en la última década.

Como verás más tarde, Habilmind cuenta con un equipo de expertos diseñadores de pruebas. Están adaptadas al mundo educativo y tienen un enfoque pedagógico centrado en el análisis de los factores que influyen en el aprendizaje. El resultado ha sido:

• Más de 2 millones de pruebas realizadas

• 3600 colegios usuarios

• 19 países

• Decenas de reconocidos grupos de colegios

Con todo esto creemos que estamos incidiendo en la mejora de la educación, o al menos estamos poniendo en los centros educativos las herramientas que, mediante su buen uso, pueden ayudar a ese esfuerzo que lleva a cabo toda la comunidad educativa.

Hemos adecuado las pruebas a los objetivos y funcionalidad de la intervención psicopedagógica en los centros educativos a través de instrumentos objetivos, técnicos y rigurosos. Habilmind recoge una amplia variedad de pruebas que permiten obtener información de los principales factores que influyen en el proceso de enseñanza y aprendizaje.

Figura 1. Diagrama explicativo de la clasificación de las pruebas Habilmind.

Nuestras pruebas, como herramientas de innovación educativa, están orientadas al desarrollo integral de los alumnos y de la comunidad educativa, siguiendo un modelo evaluativo psicopedagógico (a nivel cognitivo, interpersonal e intrapersonal) con el objetivo de ofrecer una enseñanza personalizada.

Pruebas Habilmind

Las pruebas Habilmind ayudan a determinar y ajustar las estrategias de intervención. A continuación se describen su utilidad y se presentan sus principales características.

Utilidad de las pruebas Habilmind

Habilmind comprende la evaluación como parte inherente al proceso de enseñanza y aprendizaje. La evaluación es una herramienta y estrategia educativa que proporciona grandes ventajas como son:

• El conocimiento del estudiante a nivel cognitivo, emocional y social, mediante pruebas criteriales y normativas.

• El conocimiento del entorno del estudiante a nivel familiar y de centro, mediante cuestionarios y encuestas.

• Ayuda a fijar los objetivos de intervención psicopedagógica en términos operativos mediante sugerencias y posibles estrategias de intervención.

• Ayuda a desarrollar el potencial de toda la comunidad educativa (alumnos, profesores, coordinadores de etapa, directivos y familias).

Características de las pruebas Habilmind:

Fruto del trabajo colaborativo con distintos expertos del ámbito de la psicología y de la educación, Habilmind pone a disposición de los centros una batería de pruebas con las siguientes características principales.

• Pruebas válidas: pruebas cuyos conceptos y estructura están estudiados y descritos al detalle y validados mediante análisis descriptivos y estadísticos.

• Pruebas fiables: poseen una excelente fiabilidad obtenida en amplias muestras. El uso extendido de herramientas online ha permitido que su uso se extienda en distintos países obteniendo muestras independientes.

• Pruebas objetivas: la aplicación online asegura la igualdad de condiciones en la administración, garantizando las mismas normas y tiempos para todos los sujetos, lo que permite alcanzar la mínima interferencia del evaluador y la mayor objetividad. Por otro lado también se favorece la objetividad a través de la corrección y la confección de informes automatizados evitando al máximo la posibilidad de errores en ambos procesos.

• Pruebas baremadas: cada prueba cuenta con sus propios baremos disponiendo, de este modo, de información significativa para la correcta interpretación de resultados.

• Economía: las pruebas Habilmind permiten reducir la utilización de recursos materiales fungibles, facilitando así el proceso completo de aplicación. Contribuyen a la eficacia y aprovechamiento del tiempo y esfuerzo de los recursos humanos. Así mismo muchos de los contratiempos habituales de la administración colectiva manual (papel y lápiz) se ven extinguidos. Los resultados se obtienen de manera inmediata.

Autores de las pruebas Habilmind

Habilmind dispone de un equipo humano experto, especializados en orientación educativa, psicología, pedagogía e innovación, además de informáticos, programadores y diseñadores gráficos. Nuestro equipo humano, comprometido con la mejora educativa, trabaja en el desarrollo continuo de servicios para ofrecer soluciones adaptadas a las necesidades actuales del sector educativo.

• Habilmind cuenta con un equipo de trabajo compuesto por psicólogos con experiencia tanto en el ámbito de la educación como en el clínico, e informáticos.

• Habilmind ha logrado el apoyo y la colaboración de importantes expertos e investigadores de diferentes áreas vinculados a prestigiosas Universidades. Han contribuido en el diseño, revisión y validación de diversos instrumentos:

Isauro Blanco

Colaborador habitual de la UNESCO y OCDE. Psicólogo y pedagogo educativo y clínico investigador con más de 40 años de experiencia en el aula y en la aplicación de las TIC en la Educación. Asesor de equipos directivos, profesores y orientadores. Conferencista internacional. Premio Nacional Investigación e Innovación Educativa (2007).

Javier Tourón

Vicerrector de Innovación y Desarrollo Educativo en la UNIR experto en Altas Capacidades. Galardonado en 2016 por la Mensa Research Foundation de EE.UU con el International Lifetime Achievement Award.

Carlos Yuste

Psicólogo y orientador educativo, destaca su amplia experiencia en el ámbito de la psicometría y el estudio de la inteligencia. Autor de BADyG, IGF, PROGRESINT.

Gemma Filella

Doctora en Ciencias de la Educación. Experta en Educación Emocional y miembro del GROP de la Universidad de Barcelona-Lleida. Asesora de centros educativos y conferencista internacional.

David Yuste

Licenciado en Psicología y Máster en Programas de Intervención en Contextos Educativos por la Universidad Complutense de Madrid. Experto en el desarrollo de pruebas y materiales de evaluación.

Déborah Martín

Doctora en educación experta en innovación educativa y competencias docentes. Actualmente trabaja como docente de la UNIR.

Margarita García

Licenciada en Psicología por la Universidad de Salamanca. Directora de ASPASI especialista en derechos de la infancia y prevención de abusos sexuales a menores.

Mercedes García

Doctora en Ciencias de la Educación por la UCM. Miembro de la Asociación Interuniversitaria de Investigación Pedagógica (AIDIPE), de la European Educational Research Association (EERA) y de la Red de Profesorado de Orientación (RIPO).

Chantal Biencinto

Doctora en el Departamento de Investigación y Psicología de Educación de la Facultad de Educación de la UCM. Es Co-Directora del Grupo de Investigación Consolidado Pedagogía Adaptativa.

Mª José Gallego

Doctora en Ciencias de la Educación. Experta en formación en Inteligencia Emocional con varias publicaciones sobre este tema referidas al mundo de la educación y la familia. Profesora de Enseñanza Secundaria de la Comunidad de Madrid durante 40 años de la especialidad de Psicología y Pedagogía.

Evaluación criterial en el contexto educativo

Una prueba de referencia criterial evalúa un desempeño o logro determinado e interpreta las puntuaciones a nivel individual tomando como referente un estándar prefijado y no la ejecución del grupo (Tejedor, 1992).

En Habilmind la inclusión de pruebas criteriales, además de las normativas en nuestra batería de test, permite dar respuesta a las necesidades educativas de alumnos que en su futuro profesional tendrán que competir en sectores cada vez más internacionales dentro de un mundo ya globalizado. Ello hace necesario que existan en las evaluaciones pruebas criteriales complementarias que aporten información valiosa para orientar la intervención psicopedagógica.

¿Por qué son las pruebas criteriales útiles en el contexto educativo?

En el contexto educativo la utilización de pruebas criteriales empezó a hacerse popular hacia la década de los años setenta del pasado siglo XX, cuando consiguieron hacerse un lugar dentro de la teoría de los tests para evaluar los estándares de rendimiento. Su surgimiento se explica, por un lado, por el contexto contrario que se había desarrollado en Estados Unidos sobre el uso de los tests, y por otro, por la necesidad de valorar la eficacia de los programas educativos (Meneses, 2014).

En Habilmind seguimos líneas de investigación y parámetros internacionales definidos por la OCDE (Organización para la Cooperación y el Desarrollo Económico). En muchas de nuestras pruebas empleamos el modelo de evaluación por criterios, al igual que las pruebas de validez aceptadas a nivel mundial como:

• PISA (Programme for International Student Assessment).

• PIRLS (Progress in International Reading Literacy Study) .

• TIMSS (Trends in International Mathematics and Science Study).

Evaluamos en función de lo que un alumno debe saber hacer (competencias) en determinado/a curso escolar, en contraposición a las pruebas normalizadas que arrojan resultados sobre una comparación del alumno/a con la población.

Si un metro lo hiciéramos de 90 centímetros o de 70, en función del nivel de exigencia del sistema educativo de cada país, los resultados serían quizá engañosos. Lo que se busca actualmente es proporcionar a todos los niños un nivel óptimo de educación ("clase mundial" es el concepto que se está usando últimamente para definir este aspecto).

Basarnos en criterios internacionales, y no en medidas estatales o nacionales, nos permite ver el grado de desarrollo del evaluado sin condicionar o limitar estos resultados a las políticas educativas del país de origen, evitando así una visión reduccionista. Utilizar baremos internacionales permite conocer el funcionamiento de un alumno que deberá desplazarse o competir con trabajadores de cualquier nacionalidad.

Por tanto, lo que realmente cambia es el nivel de esfuerzo necesario ante el reto para cada país. Lógicamente algunos países tendrán que hacer un mayor esfuerzo para que sus alumnos alcancen niveles internacionales, sin embargo, esta información resulta escasamente visible cuando el estudio se realiza únicamente mediante la comparación con una muestra nacional (pruebas normativas).

¿Son válidas, tienen controles técnicos?

En Habilmind las pruebas han pasado los correspondientes controles técnicos para controlar la calidad de las pruebas. Las herramientas que integran las pruebas criteriales, así como las normativas, cumplen las exigencias y/o revisión empírica que garantizan su validez y fiabilidad a través de un proceso de validación. En el siguiente apartado se presenta información sobre las validaciones de las pruebas Habilmind.

Validaciones de las pruebas Habilmind

La validación es un proceso que consiste en poder determinar la adecuación de una prueba o test según sus características, desarrollada para un fin concreto. De esta manera, un instrumento de medida es válido en la medida en que la revisión rigurosa legitima la interpretación de las puntuaciones arrojadas por el test (Prieto y Delgado, 2010).

Las pruebas HM han sido revisadas y/o validadas por parte de universidades de prestigio como el grupo MIDE de la la Facultad de Educación de la UCM (Universidad Complutense de Madrid), Universidad de Lérida y la UNIR (Universidad Internacional de La Rioja).

Tests validados científicamente

El desarrollo y la validación de un test requiere un tiempo determinado que en ocasiones puede precisar de varios años. Estos estudios de validación responden a criterios psicométricos definidos que deben ajustarse a las normas internacionales. Habilmind propone instrumentos rigurosos con revisiones periódicas y actualizaciones.

Desde el año 2009 las pruebas Habilmind han sido ampliamente utilizadas en más de 15 países de Latinoamérica y España. Su uso extendido ha permitido la disposición de muestras representativas y de gran valor dada la magnitud de las mismas. Para los estudios de validaciones nuestras pruebas han llegado a alcanzar muestras de hasta 24.000 sujetos.

Habilmind, al ser una plataforma cuyas pruebas se presentan en formato online, permite que las pruebas estén permanentemente vivas y sean actualizadas y revisadas con mayor periodicidad que las pruebas en papel.

Puntuaciones en las pruebas Habilmind

Los test Habilmind presentan los resultados, según las distintas pruebas, utilizando diferentes tipos de puntuaciones: directas, criteriales, referidas a la norma… Posteriormente, la mayoría de los informes que ofrece Habilmind, presentan una interpretación de los mismos para la mejor comprensión por parte de los distintos agentes de la comunidad educativa.

Las puntuaciones que recogen los test no tienen significado por sí mismas, sino que lo adquieren cuando se comparan con algo, que puede ser un punto de referencia al criterio y/o a una norma (Valero, 2013).

A continuación, se explican los tipos de puntuaciones utilizados en las pruebas junto con algunos ejemplos:

Puntuaciones directas

Las puntuaciones directas (PD) son el resultado directo e inmediato que se obtiene a la hora de aplicar la corrección automática de una prueba o test. Estas puntuaciones casi siempre resultan de la suma de los puntos otorgados a los aciertos del sujeto en un test y a veces tienen en cuenta el tiempo de reacción al ítem.

Generalmente se presenta la puntuación directa con el rango de puntuaciones máximas y puntuaciones mínimas posibles.

Ejemplos de puntuaciones directas

Figura 2. Informe de resultados de la prueba de Autoestima-Autoconcepto.

Figura 3. Informe de resultados de la prueba de Rogers.

Puntuaciones criteriales: utilización de estaninas

Las estaninas son una puntuación que sitúa en un rango de 1 a 9 puntos el nivel alcanzado por el sujeto en relación a un indicador. Las puntuaciones directas obtenidas en la prueba, se convierten en puntuaciones estaninas a partir de un baremo establecido.

Para facilitar la interpretación de resultados, en Habilmind se utiliza el sistema de identificación de cada grupo de estaninas con los colores del semáforo, tal y como se indica en la tabla, representando el rojo las estaninas 1-3; amarillo las estaninas 4-6 y verde las estaninas 7-9. A continuación se muestran los niveles y significación para cada grupo de estaninas:

Tabla 1. Distribución de los niveles de dominio mediante las puntuaciones en estaninas.

Ejemplos de puntuaciones estaninas

Figura 4. Informe de resultados de la prueba de Estilos de Aprendizaje.

Puntuaciones referidas a la norma: percentiles

Para comparar el rendimiento de un alumno con respecto a los alumnos de la misma edad y curso académico se utiliza una medida estadística, el percentil (Pc). Esta refleja qué posición ocupa el alumno en un rango de 0 a 100, siendo el percentil 50 la media, donde se concentran la mayoría de los alumnos. La distribución de sujetos evaluados describe una campana de Gauss. Para analizar la dispersión de los datos se utilizan como medida la desviación estándar (σ), que indica en qué medida el sujeto se acerca o se aleja con respecto al promedio.

Figura 5. Campana de Gauss (Fuente: Bolsia.com)

Ejemplo de puntuaciones percentiles

Figura 6. Informe de resultados de la prueba Edint.

Otro tipo de informes y presentación de puntuaciones

Puntuaciones presentadas en escalas bipolares

Para facilitar la comprensión de los resultados, en la prueba de Tendencias personales, las puntuaciones obtenidas se trasladan a una escala bipolar tal y como se puede ver en Figura 6 que aparece a continuación. Cada uno de los indicadores evaluados se presenta en sus polos opuestos con una numeración que representada en el rango -4 a +4, siendo el 0 el punto intermedio de dicha polaridad.

Puntuaciones presentadas en escalas bipolares Ejemplo de puntuaciones presentadas en escalas bipolares

Figura 7. Informe de resultados de la prueba Tendencias Personales.

Puntuaciones presentadas por nivel de logro o rúbricas

Para el análisis de competencias, Habilmind ofrece un avanzado sistema de evaluación mediante rúbricas. Actualmente, las pruebas de las que se disponen han sido elaboradas por destacados expertos de la UCM y de la UNIR para la evaluación de las diversas competencias docentes.

Las matrices de evaluación o “rúbricas” son tablas de doble entrada en las que se definen criterios y niveles de desempeño en relación a una tarea, objetivo o competencia determinados. Una de las grandes ventajas en este tipo de evaluaciones es que se convierte en sí misma en un canal de retroalimentación, tanto sobre el nivel de logro adquirido y el esperado, además de permitir la autoevaluación y coevaluación.

En el ejemplo que se presenta a continuación se pueden ver los resultados obtenidos en la evaluación mediante rúbrica de las competencias digitales de un docente. En este caso, los niveles de competencias se presentan en 7 subniveles de A0 a C2.

Ejemplo de puntuaciones presentadas por nivel de logro

Figura 8. Informe de resultados de la prueba Competencias Digitales Docentes.

Baremos

La baremación, también conocida como escalamiento de una medida, es un elemento de gran relevancia en el proceso de elaboración y uso de un instrumento de medida. La transformación de una puntuación ayuda al usuario a inyectar significado a un determinado valor de acuerdo con el comportamiento de un conjunto de observaciones (Valero, 2013). Los test nos permiten interpretar datos cuantitativos y arrojar información, que en sí mismos (puntuaciones directas o brutas) no dos dicen mucho. Llegamos a conclusiones cuando la comparamos con un baremo de referencia.

Baremos de pruebas normativas

En el caso de las pruebas normativas los baremos se configuran comparando a cada sujeto con los resultados obtenidos por otros grupos del mismo nivel académico o curso escolar pertenecientes a la misma zona geográfica. De este modo se establece una comparación entre el resultado del alumno con los resultados de una población o grupo específico al que pertenece.

Ejemplo de baremos de prueba normativa

Figura 9. Acceso a baremos de la prueba EDINT.

Baremos de pruebas criteriales

En el caso de las pruebas criteriales los baremos se configuran estableciendo las puntuaciones esperadas para cada dimensión evaluada, para cada curso escolar, indistintamente del país donde se encuentre el alumno. Estos baremos se pueden complementar con las medias recogidas para cada país en relación a las dimensiones evaluadas.

Ejemplo de baremos de prueba criterial

Figura 10. Ejemplo de Baremos del Test de Habilidades Fundamentales.

Presentación de resultados

Si bien existen algunas diferencias según las características de las pruebas, en la mayor parte de las pruebas que ofrece la plataforma Habilmind se encuentran tres vistas de resultados con el fin de facilitar el análisis e interpretación de los mismo. Encontramos resultados detallados, por frecuencias y 360º.

Presentación de resultados detallados

Dashboard de resultados

En esta vista, el director, coordinador, orientador o docente, pueden analizar los resultados de un grupo; ver los resultados máximos y mínimos obtenidos por éste. Además, los directores, coordinadores y orientadores, disponen de una opción para filtrar la información por grupos o cursos.

Figura 11. Dashboard de resultados de la prueba de Estilos de Aprendizaje.

Figura 12. Funcionalidad agrupar/filtrar información por grupos o cursos.

Informe de resultados individual del alumno

Analiza la información individual del alumno*. Habilmind ofrece distintas versiones según el receptor del informe: orientador o familia.

(*) En el caso de los informes criteriales, como es el caso de la prueba de Habilidades Fundamentales, se agrega una presentación de resultados comparativa del alumno con su grupo de referencia (estudiantes del mismo curso que han realizado la prueba en su país).

Figura 13. Información agregada del informe individual de la prueba de Habilidades Fundamentales.

Informe grupal para docentes

Analiza la información de manera grupal indicando el porcentaje de alumnos que poseen puntuaciones altas, medias y bajas.

Figura 14. Fragmento del informe grupal de la prueba de Habilidades Fundamentales.

Presentación de resultados por frecuencias

Teniendo en cuenta la puntuaciones en estaninas, se presenta una distribución de las frecuencias de alumnos del grupo en función de su nivel de dominio en cada uno de los indicadores evaluados.

Figura 15. Presentación de resultados en frecuencias de la prueba de Habilidades Fundamentales.

Presentación de resultados 360º

En esta vista se presenta una comparativa de los resultados del grupo con el grupo de referencia (estudiantes del mismo curso y nacionalidad).

Figura 16. Presentación de resultados 360º de la prueba de Habilidades Fundamentales.

Bibliografía y referencias

Fernández, R. (2004). Evaluación psicológica. Conceptos, métodos y estudios de casos. Editorial Pirámide.

Meneses, J.; Barrios, M.; Lozano, L.M.; Bonillo, A.; Turbany, J.; Cosculluela, A.; Valer, S. (2014). Psicometría. Editorial UOC.

Muñiz, J. (2003). Teoría clásica de los tests. Madrid: Pirámide.

Prieto, G., & Delgado, A. R. (2010). Fiabilidad y validez. Papeles del psicólogo, 31(1), 67-74.

Salvador, M.I. (2007). El Diagnóstico de los Aprendizajes Básicos y sus Deficiencias. Un Modelo Criterial. Universidad Autónoma de Madrid. Departamento de Didáctica y Teoría de la Educación. Tendencias Pedagógicas 12 pp 151-169.

Tejedor, F.J. (1992). Medición criterial vs. normativa. In Metodología educativa I (pp. 57-75). Servizo de Publicacións.

Valero, S. (2013). Transformación e interpretación de las puntuaciones. Psicometría, 201-224.