Dependendo do tipo de avaliação e dos seus objectivos, o que é objecto de avaliação pode assumir diferentes níveis e configurações.
Os resultados de um processo de avaliação podem estar orientados, entre outros, para o conhecimento:
• das diferenças entre os objectivos e referenciais inicialmente fixados e os resultados efectivamente alcançados;
• dos efeitos da formação ao nível do desempenho dos formandos nos postos de trabalho;
• dos factores explicativos que estão na base dos resultados esperados, quer estes tenham sido superados quer tenham ficado aquém do esperado.
• das diferenças entre os objectivos e referenciais inicialmente fixados e os resultados efectivamente alcançados;
• dos efeitos da formação ao nível do desempenho dos formandos nos postos de trabalho;
• dos factores explicativos que estão na base dos resultados esperados, quer estes tenham sido superados quer tenham ficado aquém do esperado.
Uma das metodologias mais referenciadas em toda a investigação sobre avaliação é a de Donald Kirkpatrick, que, há mais de quarenta anos, identificou os seguintes quatro níveis de avaliação:
Nível 1 – Reacção
Os formandos gostaram do curso?
É uma das formas mais tradicionais e usadas para avaliar. É fácil, rápida e com baixo custo de aplicação. Os resultados negativos podem significar dificuldades de aprendizagem no curso.
Os formandos gostaram do curso?
É uma das formas mais tradicionais e usadas para avaliar. É fácil, rápida e com baixo custo de aplicação. Os resultados negativos podem significar dificuldades de aprendizagem no curso.
Nível 2 – Aprendizagem
Os formandos aprenderam com base nos objectivos do curso?
A aprendizagem pode ser medida através de pré e pós-testes, bem como através de testes escritos ou testes de performance.
Os formandos aprenderam com base nos objectivos do curso?
A aprendizagem pode ser medida através de pré e pós-testes, bem como através de testes escritos ou testes de performance.
Nível 3 – Comportamento
O comportamento dos formandos no posto de trabalho mudou? Os formandos aplicam o que aprenderam? Difícil de operacionalizar. Podem ser utilizados questionários ou grelhas de observação, após a formação.
O comportamento dos formandos no posto de trabalho mudou? Os formandos aplicam o que aprenderam? Difícil de operacionalizar. Podem ser utilizados questionários ou grelhas de observação, após a formação.
Nível 4 – Resultados
Qual o impacto da formação na organização?
Trata-se de avaliar o impacto da formação em termos de resultados na actividade da empresa. Este nível de avaliação é geralmente aplicado a cursos de formação que procuram resolver problemas específicos causados por falta de conhecimentos e qualificações. O autor nunca define, de uma forma simples e clara, como se processa este nível de avaliação. Dá alguns exemplos, entre outros, de reduções nos custos e no absentismo. Apesar de ser um nível de avaliação bastante atractivo e almejado por várias empresas, a sua aplicação é extremamente difícil. As dificuldades em estabelecer relações causais directas entre formação/resultados da empresa, bem como a dificuldade em isolar factores de influência nos resultados, não permitem afirmar, categoricamente, que uma dada acção de formação originou um aumento percentual de x nos resultados y da empresa. Se estabelecemos relações directas entre uma dada formação e um certo tipo de resultados, podemos estar a “enredar” muitos outros factores, externos à formação, e que podem ter actuado em simultâneo para a obtenção desses mesmos resultados.
Qual o impacto da formação na organização?
Trata-se de avaliar o impacto da formação em termos de resultados na actividade da empresa. Este nível de avaliação é geralmente aplicado a cursos de formação que procuram resolver problemas específicos causados por falta de conhecimentos e qualificações. O autor nunca define, de uma forma simples e clara, como se processa este nível de avaliação. Dá alguns exemplos, entre outros, de reduções nos custos e no absentismo. Apesar de ser um nível de avaliação bastante atractivo e almejado por várias empresas, a sua aplicação é extremamente difícil. As dificuldades em estabelecer relações causais directas entre formação/resultados da empresa, bem como a dificuldade em isolar factores de influência nos resultados, não permitem afirmar, categoricamente, que uma dada acção de formação originou um aumento percentual de x nos resultados y da empresa. Se estabelecemos relações directas entre uma dada formação e um certo tipo de resultados, podemos estar a “enredar” muitos outros factores, externos à formação, e que podem ter actuado em simultâneo para a obtenção desses mesmos resultados.
Mais recentemente, temos vindo a assistir à emergência de um “novo” nível de avaliação, que procura ir um pouco mais além do nível 4.
Nível 5 – Retorno do investimento (ROI – Return On Investment)
O retorno do investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nível de avaliação tornou-se muito popular. Muitos directores não estão dispostos a empreender um projecto de formação se não lhes é garantido um bom nível de retorno do investimento que foi exigido para o levar a cabo. Não lhes basta bons resultados, querem garantir uma recuperação do investimento. É importante não confundir Retorno do investimento com Índice custo/ benefício.
O retorno do investimento é a comparação, em valores monetários, dos resultados líquidos obtidos face ao custo do programa formativo (expresso em percentagens). Este novo nível de avaliação tornou-se muito popular. Muitos directores não estão dispostos a empreender um projecto de formação se não lhes é garantido um bom nível de retorno do investimento que foi exigido para o levar a cabo. Não lhes basta bons resultados, querem garantir uma recuperação do investimento. É importante não confundir Retorno do investimento com Índice custo/ benefício.
Vejamos a diferença:
IBC = Benefícios brutos da formação
__________________________
Custos do programa
ROI = Benefícios líquidos da formação
__________________________
Custos do programa
Suponhamos o seguinte exemplo:
Os custos de um dado programa de formação são 20.000 euros e os benefícios são de 100.000 euros (os benefícios podem ser calculados com base em múltiplos indicadores, tais como o aumento de produtividade e a redução de absentismo, entre outros); logo:
IBC = 100.000 = 5
_______
20.000
ROI = 80.000 x 100 = 400%
_______
20.000
Como se pode constatar, a diferença fundamental consiste no facto de o IBC considerar os benefícios brutos e o ROI considerar os benefícios líquidos, descontando os custos e sendo expresso em percentagens.
O problema de fundo deste quinto nível de avaliação consiste em isolar os benefícios ligados directamente ao programa de formação, isto é, saber como quantificá-los separadamente.
Esta técnica tem, evidentemente, dificuldades, mas, apesar disso, não deixa de ser um exercício relevante.
