Training & Development Digest On-line :: www.tdd-online.com    18 de mayo de 2012
202/325
EVALUACIÓN
Última actualización 04/02/2010@17:09:51 GMT+1
Jack Phillips

Artículo de nuestra serie "Medición del ROI en la Formación". Parte de una situación habitual: después de un programa de formación, mejora sensiblemente el rendimiento de los participantes, para luego ir decayendo progresivamente. Entonces, el director hace la temida pregunta: "Seamos sinceros, ¿qué mejora se ha producido después de la formación?" No es usual dar rigurosas a esta cuestión tan frecuente. Puede ser muy difícil demostrar la relación causa y efecto entre la formación y el rendimiento. En el presente artículo se recomiendan varios enfoques imaginativos para aislar los efectos de la formación, lo cual es indispensable para calcular el ROI en términos monetarios.

Es lo habitual: después de un programa de formación de cierta envergadura, mejora sensiblemente el rendimiento del trabajo de los participantes. Está claro que hay una relación entre estas dos cosas. Pero, entonces, el director hace la siempre temida pregunta...

"¿Qué cantidad de esa mejora se debe a la formación?"

 No es usual recibir una respuesta muy rigurosa o fiable a esta pregunta tan frecuente. Si bien es posible relacionar el mejor resultado con la formación, también ha habido una contribución de otros factores ajenos a ella. Tal y como lo sabe la mayoría de los profesionales de RR.HH, puede resultar difícil demostrar la relación de causa y efecto entre la formación y el rendimiento.

Es sumamente importante planificarlo de antemano. En el presente artículo se recomienda varios enfoques para aislar los efectos de la formación, lo cual es indispensable a la hora de calcular el retorno sobre la inversión en términos de pesetas.

El camino a recorrer para evaluar la formación

    Ante todo, es importante explicar el efecto de reacción en cadena, implícito en el modelo de evaluación a cinco niveles, que aparece en Cuadro 1.

Cuadro 1. Evaluación del ROI a cinco niveles

Esta versión, con una ligera modificación del modelo de evaluación a cuatro niveles de Kirkpatrick, está adaptada para incorporar la medición del retorno sobre la inversión

NIVEL PREGUNTAS
1. La reacción y la acción prevista
  • ¿Cómo reaccionaron los participantes a la formación?
  • ¿Cómo piensan utilizar ese material?
2. El Aprendizaje
  • ¿Qué técnicas, conocimientos o actitudes han cambiado?
  • ¿En qué medida?
3. La aplicación en el trabajo
  • ¿Aplicaron los participantes lo que habían aprendido con la formación?
4. Los resultados para la empresa
  • ¿Han producido algunos resultados medibles estas aplicaciones en el trabajo?
5. El Retorno en la Inversión
  • El valor del dinero de estos resultados, ¿superó el coste de la formación?

El 3º nivel de evaluación.
      En primer término, es esencial que los resultados comprobados de la formación hayan sido obtenidos midiendo la aplicación en el trabajo de las técnicas y conocimientos adquiridos por los participantes durante un período de tiempo concreto después de la formación. Se trata del 3º nivel de evaluación.
La importancia del 2º nivel de evaluación
      Por lógica, la correcta aplicación en el trabajo de lo aprendido durante la formación, se debe a que los participantes han asimilado nuevas técnicas o nuevos conocimientos. Éste es el 2º nivel de evaluación.
Encuentre las evidencias para probar el 4º nivel
 

    En consecuencia, para que haya habido mejores resultados económicos, 4º nivel de evaluación, queda implícito por reacción en cadena:

  1. Que han sido logradas la aplicación comprobada en el trabajo (3º nivel), y
  2. Las mejoras asimiladas con el aprendizaje (o 2º nivel).

    Sin estas pruebas preliminares, resulta difícil aislar el efecto de la formación, o sacar la conclusión de que el mejor resultado se debe a la formación

En la práctica, si se recogen los datos basados sobre el resultado económico (4º nivel), también es necesario recogerlos a los restantes tres niveles de evaluación.

Enfoques concretos

He aquí varios métodos para aislar los efectos de la formación sobre el rendimiento:

Utilización de grupos de control

    Un método muy fiable para aislar los efectos de la formación consiste en crear grupos de control según el modelo de formación experimental. El grupo experimental recibe la formación, mientras el grupo de control no la recibe. Los participantes de ambos grupos deben ser de origen demográfico similar, haber sido seleccionados aleatoriamente, y estar sujetos las mismas influencias del medio.

    No es necesario efectuar mediciones en ninguno de los dos grupos antes de comenzar el programa. En cambio, las mediciones que se hagan después de la formación son las que demostrarán los diferentes rendimientos de los dos grupos, y que se podrán atribuir directamente a la formación.

El caso de Federal Express

    Federal Express dio formación a 20 empleados recién incorporados, para conducir las nuevas furgonetas de la empresa. Después de la formación, se comparó el resultado con el de un grupo de control, compuesto por otros 20 empleados nuevos, que no habían recibido la formación especial.

    El rendimiento de los dos grupos fue observado durante 90 días, desde 10 aspectos de rendimiento diferentes, incluidos los de accidentes, siniestros y errores. Expertos de la sección de ingeniería, finanzas y otros asignaron a esos aspectos un valor en pesetas. Al final, quedó demostrado que la formación producía un retorno sobre la inversión del 24 por ciento.

    La utilización de grupos de control tiene un inconveniente: crea la falsa sensación de que el personal de formación está convirtiendo el lugar de trabajo en un laboratorio de experimentación. Para evitar esa imagen negativa, algunas organizaciones y empresas introducen un seguimiento piloto de la formación. Algunos participantes piloto forman el grupo experimental y los no participantes, el grupo de control. De hecho, ni siquiera se informa a los no participantes de que pertenecen a ese grupo.

    A veces, la dirección no está dispuesta a dedicarle tiempo a la experimentación, porque sólo le interesa que los empleados reciban la formación. Pero conviene utilizar el control de grupos cuando un programa de formación es caro y está directamente relacionado con los objetivos de la organización o empresa.

Análisis por tendencias

    Este método consiste en trazar una línea desde el rendimiento actual hasta el rendimiento futuro y asumir que la tendencia actual se mantendrá aun sin la formación. Después de que los empleados hayan terminado la formación, se compara su rendimiento posterior con el rendimiento previsto mediante la línea de tendencias. Es razonable atribuir a la formación cualquier mejora con respecto al pronóstico de la línea de tendencias. Este proceso no es preciso, pero facilita una estimación razonable del efecto de la formación.

He aquí un ejemplo de análisis por línea de tendencias, realizado por una empresa fabricante de productos electrónicos sobre la tasa de material rechazado por piezas defectuosas.

Ventajas e Inconvenientes del Análisis por Tendencias
Ventajas

    Su lado positivo es que la inversión de esfuerzo es eficiente, ya que es un método relativamente

  • Sencillo
  • Barato, y que
  • No da mucho trabajo.
Inconvenientes
Cuidado con las conclusiones
 

    El Cuadro 2 muestra el porcentaje de componentes defectuosos de una fábrica de productos electrónicos, antes y después de formación. Con anterioridad a la formación, esta tendencia era descendente. Aparentemente, gracias a la formación, se redujo en gran medida el número de piezas descartadas. Sin embargo, la línea de esta tendencia demuestra que la disminución de la tasa de rechazos hubiera continuado de todos modos.

Ahora bien, cuidado:

  • Es difícil resistir a la tentación de medir la mejora, comparando la tasa media de productos rechazados durante los seis meses anteriores a la formación (1,85 %) con el promedio de los seis meses posteriores (0,7 %).
  • Pero se puede conseguir un contraste más riguroso, comparando el promedio de los seis meses posteriores a la formación con el valor correspondiente a una misma fecha con el pronóstico de la línea de tendencias (1,45 %). En nuestro caso la diferencia es de 0,75 %.

   A veces conviene que los departamentos de formación utilicen mediciones más modestas para demostrar el efecto de la formación, en lugar de afirmar algo que no se puede probar.

El principal inconveniente de este método se debe a su inexactitud implícita.
 

    Con el análisis por la línea de tendencias, se asume que:

  1. Las condiciones que afectaban el rendimiento antes de la formación siguen presentes después de la formación.
  2. También se asume que, entretanto, no aparecieron ningunos factores nuevos.

Pronóstico

     Este método es más analítico y matemático que el de la línea de tendencias. En lugar de trazar una línea recta, se recurre a una ecuación lineal, para calcular el valor de la mejora del rendimiento previsto. Cuando un resultado depende de una sola variable, lo más apropiado es un modelo lineal (del tipo y = ax + b). Cuando intervienen varias variables, es necesario utilizar modelos estadísticos complejos, sin los cuales es difícil hacer el pronóstico. Sin embargo, este método permite prever con precisión las variables de rendimiento sin formación, si se dispone de datos y modelos apropiados.

Estimación por parte de los participantes.

    Este método consiste en pedir a los participantes que establezcan cuánta mejora del rendimiento se debe a la formación. Han sido sus acciones las que produjeron las mejoras, así que deben saber aproximadamente cuánto se debe a su aplicación de lo que habían aprendido con la formación. Los directores suelen aceptar estas respuestas como fiables, porque los participantes son el mismo eje de las mejoras.

   Se puede recoger el aporte de los participantes haciéndoles las siguientes preguntas:

  • ¿Qué porcentaje de las mejoras se puede atribuir a la aplicación de las habilidades, técnicas o conocimientos aprendidos con la formación?
  • ¿En qué basa usted su estimación?
  • ¿Con qué grado de certeza hace usted esta estimación?
  • ¿Qué otras personas o grupos podrían hacer una estimación?
  • Según su parecer, ¿qué otros factores contribuyeron a la mejora?

    Para ser prudentes, se recomienda calcular el factor del nivel de certeza. Por ejemplo, si un participante estima que un 5% de la mejora se debe a la formación, pero sólo está seguro de ello al 70%, multiplique el tanto por cien de certeza por el tanto por cien de mejora y divida por 100. Obtendrá un nivel de certeza del 35 por ciento. Entonces multiplique ese valor por la cuantía de la mejora, para aislar la porción que corresponde atribuir a la formación. Para calcular el ROI, exprese esta porción en su valor en efectivo.

    Con el fin de dotar este método de mayor rigurosidad, se puede someter las estimaciones de los participantes a la aprobación por parte de la dirección. Por ejemplo, en el caso de la formación en gestión de rendimiento, que había sido impartida en Yellow Freight Systems, los participantes estimaron la cuantía del ahorro que se podía atribuir al programa. Los directores examinaron y aprobaron esas estimaciones, confirmando así la estimación de los participantes.

Ventajas e Inconvenientes de la Estimación de los participantes
Ventajas

Las ventajas pueden resumirse en:

  • Su bajo coste en tiempo y dinero, y
  • El hecho de que es fácil de comprender para la mayoría de los participantes y otros profesionales que examinan los datos de evaluación.
  • Además, las estimaciones provienen de una fuente fiable, de aquéllos que produjeron la mejora personalmente.
Inconvenientes
  • Este método tiene un inconveniente, que es obvio: no es más que una estimación.
  • Cabe la posibilidad de que los datos para el cálculo no sean fiables.
  • Algunos participantes suelen tener dificultades con las estimaciones. Otros tal vez no puedan hacerlas, porque no saben qué factores contribuyeron a su mejora en el trabajo.

 
Estimación por parte de los supervisores

    En lugar de esas estimaciones, o para complementarlas, se puede utilizar los datos aportados por los supervisores de los participantes. En algunas empresas, los supervisores suelen estar mejor preparados para detectar qué otros factores podrían haber producido la mejora. Se recomienda que las preguntas para los supervisores sean las mismas que para los participantes.

    Al resumir y analizar los datos, las estimaciones de los supervisores deben ser manejadas de la misma forma que las de los participantes. Es posible que el evaluador no sepa cuáles estimaciones deba utilizar. Para aplicar el método con cautela, se utilizan los valores más bajos y se adjunta una explicación apropiada. Si no, el evaluador puede asumir, que cada una de las fuentes tiene su propio punto de vista, y sacar el promedio de las dos, asignándoles el mismo peso como input.

Ventajas e Inconvenientes de la Estimación de los Supervisores
Ventajas

    Son las mismas que el anterior:

  • Es sencillo, económico y bastante fiable, gracias a que la información es de primera mano (en este caso viene de los que supervisan a los que recibieron la formación).
  • Su fiabilidad aumenta cuando se combina las estimaciones de los supervisores con las de los participantes y cuando se incorpora en el cálculo el factor del nivel de certeza.
Inconvenientes

   Este método tiene los mismos inconvenientes que el de la estimación por los participantes:

  • Es subjetivo
  • La dirección puede mirarlo con escepticismo
  • Los supervisores pueden mostrarse reticentes a la participación, o ser incapaces de hacer estimaciones precisas.


Caso práctico. Midiendo los resultados tras formación en Gestión del Rendimiento

    Cierta cadena de restaurantes introdujo un curso de Gestión del Rendimiento para directores en formación. Los alumnos aprendieron a:

  • Fijar metas medibles para el personal de dirección, a producir retroinformación sobre el rendimiento
  • Medir el avance hacia las metas y a proceder en su consecución.

    Con las técnicas que habían aprendido durante la formación, los estudiantes desarrollaron planes de acción para promover mejoras. Los altos directivos aprendieron a convertir las mejoras medibles en valores económicos: Decidieron autorizar a los empleados a que se dedicasen a cualquiera de las áreas importantes (tales como el inventario, desperdicio de comestibles o movilidad laboral) con tal de que aplicasen las nuevas técnicas que habían aprendido durante la formación o de que tradujesen las mejoras en reducción de costes o en beneficios.

    Como parte de la evaluación de seguimiento,

  1. Se documentaron los planes de acción de los alumnos, con los resultados expresados en términos cuantitativos convertidos en valores económicos.
  2. Se les pidió a los alumnos que hiciesen estimaciones moderadas del porcentaje de las mejoras logradas gracias a la aplicación de las técnicas aprendidas o perfeccionadas con la formación.
  3. Se calcularon las mejoras asignándoles un valor económico anual.
  4. Para implementarlas, los alumnos trabajaron en estrecha colaboración con los encargados de los restaurantes. Éstos dieron a los estudiantes sus estimaciones del porcentaje de las mejoras (correspondientes a los esquemas de cada plan de acción) que podían atribuirse a la formación.

 Estimación por parte de los directores

    Los altos directivos pueden dar su estimación del porcentaje de la mejora que atribuyen a la formación. En Litton Guidance and Control Systems, la dirección consideró, de forma subjetiva, que una proporción (el 60 %) de mejoras se debía a la formación, habiendo previamente tomado en cuenta otros factores, tales como modificaciones del proceso, de los procedimientos y de tecnología. Con este triunfo, la formación se atribuyó el 60 por ciento del mérito por las mejoras en calidad y productividad.

    Está claro que este enfoque puede ser muy subjetivo. Pero ¿qué importa, mientras el input venga de los que asignan los fondos para la formación?

Input por parte de los clientes

    ¿Por qué no solicitar este dato directamente a los clientes? Pregúnteles por qué eligieron un determinado producto o servicio. Pídales que le expliquen, de qué modo influyeron los empleados sobre su actitud respecto a algún producto o servicio, gracias a los conocimientos y técnicas que habían aprendido con la formación. Este método se centra directamente en aquella mejora para la cual fueron elaborados los programas de formación.

    Por ejemplo, una investigación de mercado revela que, después de un programa de formación para los cajeros de un banco, los clientes declararon que su insatisfacción con los conocimientos de los cajeros había disminuido en un 5 por ciento.

Estimación por parte de los expertos

    Es necesario seleccionar cuidadosamente a los expertos, tales como consultores independientes o gestores de empresas, en función de sus conocimientos de determinados procesos, programas o situaciones. Por ejemplo, un experto de normas de calidad puede dar unas estimaciones bastante fiables sobre la porción de mejora de calidad que corresponde a la formación, y la que se puede atribuir a otros factores relacionados con las acciones de TQM.

    Este método puede producir resultados imprecisos, a menos que el nuevo programa de formación y las circunstancias sean similares al programa y circunstancias ya existentes. Además, el método puede despertar desconfianza, porque las estimaciones provienen de fuentes externas. No obstante, proporciona un input rápido de una fuente fidedigna. A veces, con o sin razón, la dirección suele confiar más en expertos externos que en su propio personal.

Input por parte de los subordinados

    En algunas situaciones, los subordinados de los participantes pueden aportar datos acerca de la formación que reciben sus supervisores y otros directores sobre la implementación de cambios en las unidades de trabajo, o sobre el desarrollo de nuevas técnicas de gestión del personal. Por lo general, los subordinados no están capacitados para hacer una estimación cualitativa de la mejora que se puede atribuir a la formación, pero pueden proporcionar información acerca de los cambios concretos que se han producido desde que el supervisor recibió la formación. También pueden ayudar a establecer hasta qué punto cambiaron los otros factores.

    El input de los subordinados se recoge habitualmente mediante encuestas o entrevistas. Cuando las respuestas indican que ha habido un importante cambio de comportamiento del supervisor después de su formación, sin que detecten cambios significativos en el rendimiento del trabajo, se puede atribuir las mejoras al cambio de comportamiento del supervisor.

    Los subordinados conocen las causas del cambio en el trabajo y pueden aportar datos fiables sobre la importancia de esa clase de cambios. Combinado con otros enfoques, el input recogido entre los subordinados puede ser aún más veraz.

Los otros factores

    En ciertas circunstancias, es posible calcular el efecto de los otros factores ajenos a la formación, que pueden haber contribuido a determinadas mejoras, y llegar a la conclusión de que las restantes se deben a la formación.

    Por ejemplo, un plan de créditos para el consumidor de una importante institución bancaria registró un significativo aumento de operaciones después de la formación de los empleados que las atendían. Aparte del efecto de la formación, entre los otros factores se observó un descenso de las tasas de interés y una mayor confianza de los empleados en sus propios conocimientos y profesionalidad.

    Este método es adecuado cuando es fácil aislar los factores externos a la formación y cuando los mecanismos para calcular su efecto son correctos. En algunos casos, resulta no menos problemático que calcularlos por el método de la estimación. Se trata de un método muy fiable, siempre y cuando lo sean los métodos que se utilicen para aislar aquellos otros factores.

Pero, ¿cuál de ellos es mejor?

    Al disponer de 10 métodos, puede resultar difícil elegir el más apropiado. Es importante guiarse por los siguientes criterios:

  • Probabilidad.
  • Precisión.
  • Fiabilidad.
  • Costes.
  • Tiempo, incluido el de los participantes, directores y otros

    Por lo general, es mejor usar dos métodos que uno solo. Al aprovechar múltiples fuentes de datos, conviene combinar los inputs. Este prudente enfoque favorece su aceptación. Para ello, es necesario explicar tanto el método como sus elementos subjetivos.

    No es nada inusual, que el ROI en la formación represente un importe sumamente abultado. Aun si se le atribuye una parte de la mejora a los otros factores, estos números puede alcanzar proporciones muy importantes. Pero es necesario recordar, que el cálculo del ROI no es exacto, por más que se intente con todos los medios aislar el efecto de la formación. Los números correspondientes al ROI provienen de la mejor estimación que se puede hacer en las condiciones, en el tiempo y con los recursos que la organización está dispuesta a dedicarle. Tal vez sean más precisos que algunos otros datos que maneja la organización.

¿Te ha parecido interesante esta noticia?   Si (1)   No(0)
202/325
Comparte esta noticia  

Comenta esta noticia



Normas de uso
  • Esta es la opinión de los internautas, no de Training and Development Digest
  • No está permitido verter comentarios contrarios a la ley o injuriantes.
  • Nos reservamos el derecho a eliminar los comentarios que consideremos fuera de tema.
  • Su dirección de e-mail no será publicada ni usada con fines publicitarios.