Cómo prepararse para un estudio de validación basado en criterios

El equipo de evaluación de TestGorilla pone a tu disposición los materiales de la serie científica:  un grupo de expertos en psicología del trabajo y las organizaciones,  datos y psicometría con un profundo conocimiento  de la ciencia detrás de la selección por competencias.

La validación  basada en criterios es esencial para asegurar que las pruebas previas al empleo sean predictivas del rendimiento laboral de un empleado. Los estudios de validación basados en criterios ayudan a evaluar y confirmar científicamente lo que generalmente asumimos en el contexto de selección: que los candidatos que se desempeñan bien en la evaluación también lo harán bien en el trabajo si son seleccionados.

Realizar estudios de validación basados en criterios puede ayudarte a garantizar que estás realizando contrataciones de calidad, lo que en última instancia debería disminuir la rotación, aumentar el desempeño  individual, del equipo y organizacional, y ahorrarte tiempo y dinero invertidos en la selección. Además, estos estudios proporcionan pruebas fehacientes  de que tu procedimiento de selección mide atributos relacionados con el puesto  y es defendible.

En este artículo de la serie científica,  profundizaremos en "Una breve introducción a: Validación de pruebas" para explorar más a fondo los estudios de validación basados en criterios: qué son, cómo prepararse para ellos y cómo benefician a tu organización y  a tus empleados.

¿Cuáles son los conceptos clave en la validación basada en criterios?

Validación basada en criterios

En la validación basada en criterios, queremos determinar si podemos hacer inferencias (o predicciones) precisas sobre el rendimiento laboral esperado de los candidatos basándonos en las calificaciones que obtienen en las pruebas previas al empleo. Lo evaluamos observando en qué medida  los resultados de las pruebas (denominados "predictores"), como por ejemplo, las calificaciones en entrevistas, las puntuaciones en una prueba de resolución de problemas, las calificaciones en una muestra de trabajo, se alinean con alguna medida de comportamiento relevante para el trabajo y/o resultados laborales (llamados "criterios", por ejemplo, calificaciones de rendimiento laboral, datos de antigüedad, cifras de ventas).

La medida en que las puntuaciones  de las pruebas están relacionadas con las puntuaciones de  una medida de resultados relevante para el trabajo (por ejemplo, calificaciones de rendimiento, rotación) generalmente se expresa como un coeficiente de correlación, llamado coeficiente de validación. 

Validación  predictiva y validación concurrente

Existen dos tipos de estrategias de validación basadas en criterios: Validación  predictiva y validación  concurrente.

Validación  predictiva

La validación  predictiva es el grado en que los resultados de las pruebas de los candidatos predicen con precisión un comportamiento y/o resultado laboral relevante e importante en el futuro. Con esta estrategia, se utiliza la información de las calificaciones de las pruebas de los candidatos en el momento en que solicitan el trabajo (predictores) así como los datos de su rendimiento laboral (criterios) después de haber sido contratados (es decir, hay un lapso de tiempo entre la recopilación de datos del predictor y del criterio).

Por ejemplo, si un candidato obtiene una puntuación alta en la prueba de Gestión de Ventas de TestGorilla, podrías predecir que se desempeñará bien en un puesto de gerente de ventas en tu organización. Si las puntuaciones altas en la prueba de Gestión de Ventas se correlacionan con ser un excelente gerente de ventas ocho meses después de la contratación, se puede decir que una prueba tiene buena validación  predictiva.

Validación  concurrente

La validación  concurrente se refiere al grado en que los resultados de las pruebas se alinean con los de otra prueba de una fecha similar. 

Con esta estrategia, se utilizan los datos de puntuación  de las pruebas de los empleados (predictores) y los datos de rendimiento laboral (criterios) de una fecha similar  (es decir, ambos tipos de datos se recopilan cuando los empleados ya están en un puesto de trabajo).

Por ejemplo, podrías administrar la prueba de Gestión de Ventas a tus gerentes de ventas y ver cómo se alinea con su rendimiento de ventas. Si las puntuaciones de la prueba tienen una alta correlación  con el rendimiento de tus gerentes de ventas, sugiere que la prueba de Gestión de Ventas tiene buena validación  concurrente.

¿Cuáles son los beneficios de realizar estudios de validación basados en criterios?

Los beneficios de los estudios de validación basados en criterios

En el contexto de selección, los expertos a menudo se refieren a la validación  basada en criterios como la forma de validación  "definitiva". Es una manera poderosa de examinar si nuestras pruebas están aportando valor a nuestros clientes.

Los estudios de validación basados en criterios pueden aportar  evidencia científica de que las pruebas y evaluaciones que utilizas para contratar empleados están directamente relacionadas con el éxito laboral,  proporcionándote información para tomar decisiones de contratación inteligentes y basadas en datos que reducen el tiempo y el costo por contratación.

Otros beneficios incluyen:

• Aumento de la productividad: Cuando estás seguro de que tus pruebas predicen el rendimiento laboral, es más probable que identifiques candidatos que  destacarán en su trabajo.

• Reducción de la rotación: Una mejor predicción de quién tendrá éxito en el trabajo significa que es más probable que selecciones candidatos que sean adecuados.

• Reputación externa: Utilizar pruebas validadas para la contratación indica  a los candidatos que estás comprometido con una contratación justa, efectiva y basada en datos.

• Mejora continua: Los informes de validación pueden identificar áreas donde tu proceso de evaluación o contratación se podrían mejorar, lo que te proporciona información práctica para realizar cambios. 

• Reducción del riesgo legal: Los resultados del estudio de validación pueden aportar  evidencia de que una prueba cubre  atributos o habilidades relacionadas con el puesto de trabajo, lo cual es importante para respaldar la defensa legal de tus prácticas de contratación.

Ahora que entendemos los conceptos clave en la validación basada en criterios y los beneficios, desglosemos los pasos necesarios para prepararse para un estudio de validez basado en criterios.

5 Pasos para preparar un estudio de validación basado en criterios

Paso 1: Identificación de predictores relevantes para el trabajo

La clave para comprender los predictores y criterios ocurre antes de que el estudio incluso comience a través de un cuidadoso análisis del trabajo.

El análisis del trabajo es un paso fundamental para muchas funciones de Recursos Humanos ya que implica una mirada detallada sobre lo que se hace y lo que se necesita lograr en un trabajo en particular. Un análisis del trabajo proporciona una comprensión de las tareas críticas, comportamientos, equipos y condiciones para el rol, lo que informa qué conocimientos, habilidades y capacidades debe tener un empleado para tener éxito. Esta información debería ser utilizada para informar sobre la contratación y selección, aprendizaje y desarrollo, gestión del rendimiento, y mucho más.

Una vez que se entienden los conocimientos, habilidades y capacidades requeridos para el trabajo, pueden ser aprovechados para seleccionar y/o diseñar predictores (p. ej., entrevistas, muestras de trabajo, pruebas previas al empleo).

Por ejemplo, para contratar a un asociado de ventas, podrías crear una evaluación que incluya la prueba de Generación de Leads B2B de TestGorillas, la prueba de CRM de HubSpot y la prueba de Comunicación. También podrías incluir una entrevista conductual para evaluar más a fondo sus habilidades. Durante la entrevista podrías preguntar a los posibles contratados sobre cómo manejan a los clientes difíciles o mantienen relaciones positivas. Las puntuaciones en todas estas pruebas sirven como datos predictores en estudios de validación basados en criterios.

Paso 2: Identificación de criterios relevantes para el trabajo

En el contexto de selección, el desempeño laboral es, en la mayoría de los casos, el criterio de interés. El desempeño laboral incluye comportamientos relevantes para el trabajo (cómo se hace el trabajo) y resultados relevantes para el trabajo (lo que se logra en el trabajo) que constituyen el éxito para un empleado individual (p. ej., número de ventas, calidad del trabajo).

Durante el análisis del trabajo, las tareas específicas incluidas en la descripción del trabajo idealmente deberían estar vinculadas a criterios medibles que se pueden usar para la gestión del rendimiento, y más tarde como criterios en estudios de validación basados en criterios. Dichos criterios pueden ser objetivos (p. ej., volumen de ventas, métricas de productividad, tasas de error, finalización de proyectos) o indicadores subjetivos del rendimiento (p. ej., calificaciones de rendimiento de supervisores/pares/subordinados/autocalificación).

También se podrían tener en cuenta otros criterios potencialmente relevantes en los estudios de validación  basados en criterios, como la permanencia del empleado en el puesto, el rendimiento en la formación, la satisfacción laboral, el rendimiento del equipo (por ejemplo, las valoraciones del supervisor  sobre el rendimiento del equipo, el número de objetivos alcanzados), o el desempeño organizacional  (por ejemplo, los  beneficios y las ventas totales).

Las medidas del rendimiento laboral pueden ser compuestas (es decir, una única calificación combinada para evaluar el rendimiento de un empleado) o pueden constituir múltiples calificaciones más específicas. Un ejemplo de una medida compuesta, o global, del rendimiento laboral es la valoración de un supervisor  del rendimiento laboral global de un empleado en una escala de uno a cinco. Una calificación más específica sería una calificación del supervisor de la competencia de un empleado en materia de comunicación.  

También es importante considerar la alineación entre predictores y criterios en los estudios de validación basados en criterios. Por ejemplo, es más probable que detectes una relación sustancial entre un predictor específico (p. ej., puntuaciones en una prueba de idioma inglés B1) y un criterio específico y bien alineado  (p. ej., calificación gerencial de competencia en comunicación en inglés) que un criterio muy amplio (p. ej., una calificación general del rendimiento) o un criterio mal alineado  (p. ej., número de errores de codificación).

Todos los predictores y criterios son imperfectos en diferentes grados: ninguno es perfectamente fiable o válido. Sin embargo, al identificar criterios para un estudio de validación, es crucial identificar criterios que sean lo más relevantes para el trabajo, fiables, válidos, justos e imparciales posible. Muchos estudios de validación han fracasado debido a criterios poco fiables e inválidos, más que a  predictores poco fiables e inválidos.

Paso 3: Planificación de tu estudio de validación basado en criterios

Al planificar tu estudio de validación basado en criterios, es esencial tomar varias decisiones clave desde el principio.

Primero, debes elegir entre un estudio de validación  predictiva y concurrente. Esta elección depende de si estás más interesado en pronosticar el futuro rendimiento laboral basándote en las puntuaciones actuales (validación  predictiva) o si quieres entender cómo se relacionan las puntuaciones  de las pruebas de los empleados con su rendimiento laboral actual (validación  concurrente). Anticipamos que la mayoría de nuestros clientes estarán interesados  en realizar estudios de validación  predictiva.

A continuación, tendrás que determinar el tamaño de muestra necesario para tu estudio. Una muestra de mayor tamaño permite utilizar  técnicas estadísticas más sofisticadas, y generalmente proporciona resultados más fiables y generalizables. Sin embargo, también requiere más recursos. Deberás equilibrar estos factores en tu toma de decisiones.

Por lo general,  recomendamos un mínimo de 100 empleados en un determinado puesto o familia de puestos que hayan realizado  las pruebas de TestGorilla y tengan (o para los cuales puedas obtener) puntuaciones de criterio. Sin embargo, puede ser posible realizar análisis más sencillos  con muestras más pequeñas. 

También debes identificar lo que necesitarás en términos de:

• Personal (por ejemplo,  si se necesita recopilar datos adicionales, es posible que necesites un director de proyecto, la participación de recursos humanos y el departamento de comunicaciones, y aportes de gerentes y empleados),

• Datos (por ejemplo,  el uso de datos existentes, recopilar  nuevos datos, permisos que se deben obtener),

• Tiempo para llevar a cabo el estudio. Por ejemplo, los estudios de validación  predictiva, que requieren que esperes los datos de rendimiento futuro, suelen llevar más tiempo que los estudios de validación  concurrente.

Esboza un cronograma que se adapte a tus necesidades, a la disponibilidad de tus recursos y al  tipo de estudio que hayas elegido. Estas decisiones sentarán las bases para un estudio de validación exitoso.

Paso 4: Recopilación de datos de predictores y criterios

Los buenos datos son la columna vertebral de cualquier estudio de validación relacionado con criterios. Necesitarás recopilar dos tipos principales de datos: puntuaciones de predictores y puntuaciones de criterios. El proceso de recopilación de datos debe ser organizado y sistemático para asegurar que los datos estén bien estructurados, estandarizados, precisos y completos.

Normalmente, los datos de los predictores pueden descargarse   desde una plataforma de pruebas en línea como TestGorilla o de un sistema de seguimiento de candidatos. De manera similar, los datos del criterio se pueden obtener de tu sistema de gestión del rendimiento o sistema de información de recursos humanos. Ambos conjuntos de datos se pueden exportar en un formato legible por máquina (por ejemplo,  archivos .csv o .xlsx) que facilita la coincidencia, almacenamiento, compartición y análisis de datos.

Lo ideal es que exista  una documentación clara que explique lo que representa cada variable, cómo se recopiló y cualquier otra información necesaria para entender y analizar los datos. Recuerda que los  datos inexactos o incompletos pueden llevar a resultados erróneos  y decisiones equivocadas, lo que finalmente disminuye el valor de un estudio de validación  relacionado con criterios.

Por último, la privacidad y protección de datos deben ocupar un lugar destacado  en cualquier estudio de validación  relacionado con criterios. Las organizaciones deben adherirse a las leyes de privacidad de datos y regulaciones aplicables, (por ejemplo, el RGPD  las políticas internas, las obligaciones contractuales) y las mejores prácticas. Para cumplir la normativa sobre privacidad de datos y las mejores prácticas, se debe desidentificar o anonimizar los datos antes de compartirlos.  Esto significa eliminar o reemplazar cualquier información que pueda ser utilizada para identificar a un participante individual, como nombres o números de identificación. Los estudios de validación  relacionados con criterios se centran en resultados agregados, lo que significa que no se identificarán respuestas individuales.

Al priorizar la recopilación precisa de datos y la privacidad, puedes construir un estudio de validación robusto y éticamente sólido.

Paso 5: Participación en iniciativas de validación relacionadas con criterios de TestGorilla

Si tu organización tiene los conocimientos necesarios, puedes realizar internamente  los análisis para un estudio de validación relacionado con criterios. Sin embargo, vale la pena señalar que, como parte de nuestros esfuerzos continuos para mejorar la precisión y la imparcialidad  de nuestras pruebas, estamos realizando una serie de estudios de validación relacionados con criterios para entender mejor el impacto de las evaluaciones de TestGorilla en los resultados relacionados con el trabajo.

Nuestro equipo de Evaluación, formado por expertos con gran experiencia en el  desarrollo de pruebas, psicometría y estudios de validación, llevará a cabo estos estudios.

Tanto si tienes  un número grande (más de 100) como  pequeño (menos de 100) de contrataciones, hay varios tipos de iniciativas en las que tu organización podría participar potencialmente. Solo necesitas haber probado y contratado candidatos usando evaluaciones de TestGorilla y tener (o estar dispuesto a recopilar) datos sobre el rendimiento de estas  contrataciones.

Las organizaciones que se inscriban en la iniciativa y cumplan con los criterios de calificación para los grandes estudios de validación recibirán un informe científico en el que se documentarán  los resultados de la investigación junto con otras observaciones y recomendaciones.

Participar en las iniciativas de validación relacionadas con criterios de TestGorilla puede hacer que el proceso de realizar un estudio de validación sea más rápido, fluido y eficiente; apoyar nuestros esfuerzos continuos de desarrollo y refinamiento de pruebas; y proporcionarte valiosas perspectivas para mejorar tu proceso de contratación.

Si estás interesado en formar parte de nuestra iniciativa de estudio de validación, por favor completa este formulario.