当下比较流行的“轻奢餐——雕爷牛腩”的老板分享他的成功经验是:什么事说多了,说着说着就变成真的了!同样,关于三级行为改变的评估很难做甚至根本做不到的传说一直此起彼伏。这么说的人越来越多的时候,很多其实根本还不曾开始尝试做三级评估的人也开始觉得“三级评估太难,还是不要趟这浑水了”。实话说三级评估确实不容易,但三级评估工作在企业里没有得到很好开展的原因可能不见得像我们通常认为的那样。那么,到底哪些传说中的阻碍缘由是真的,哪些是假的呢?
1. 缺钱,是真的吗?答案:否。目前全球评估领域的一位大咖Brinkhoff早在2008年的时候就做过一个对比性研究,该研究分为参照组和实验组,每个组所使用的培训资源总量相等,只是在培训资源的分配应用上有区别。参照组对培训资源的使用是按照传统培训操作方式进行,即把90%的资源用于培训设计、开发及交付,而在训前准备和训后强化两端分别只配置了5%的培训资源。与此同时,实验组却把50%的资源用于训后强化,同时还把25%的资源配置使用在训前准备环节(图1)。
实验组所进行的培训资源配置方式,其背后的逻辑假定就是:任何培训项目或者培训活动不是单点行动,而是一个全流程链条。如若要让培训产生作用,功夫不仅仅在传统意义上的“训中”,而是要想尽办法关注好两头——训前准备和训后跟进强化。在不改变资源总投入的情况下,仅仅做相应的资源匹配应用上的一些改变即带来了巨大的结果不同。如图2所示,训后跟进强化措施的实施(三级评估)有效地促进和帮助到了学员训后工作中的“学以致用”。尤其是降低了学员回到工作中应用失败的比例,由参照组的70%降低到了实验组的10%。从这个实验结果来看,在培训资源总量投入不变的情况下,三级评估的实施产生了两个研究小组之间行为改变结果的巨大差异,即参照组只有15%的学习者产生了行为改变,而实验组的行为改变比例高达85%。
2. 缺人手,是真的吗?答案:否。表1所示的评估阻碍因素是我们做的2013年度中国培训行业研究结果之一。研究结果表明,企业中阻碍三级评估工作开展的因素主要与三方面紧密关联(至少从统计学相关性分析结果来看是这样):不具备必要的评估知识和技能,不清楚达到怎样的期望和结果,得不到奖励和认可。让我们很多培训管理者们感到无比诧异的是,“没有足够的人力支持”居然不是阻碍我们在企业中推行三级评估的关联因素。这个结果其实让我们很多培训人心里不好受,因为这个结果让我们常常挂在嘴边的“三级评估,人手不足”的理由和借口变得苍白无力!其实,在企业中不是所有培训都需要做到三级,真正需要做到三级评估的项目最多每年不要超过3个。另外,三级评估可以做的精细一点,如果资源人手不足也可以做的粗放一点。但本质上的不同是,当下企业培训中需要解决三级评估“有”还是“没有”的问题。这一步踏不出去,后续效果都无从谈起。
3. 缺土壤,是真的吗?答案:是。评估土壤欠缺主要表现在两大层面。微观层面是培训管理者缺乏评估的专业能力,在2010年之前有一部分培训人听说过或者接触过培训效果评估,这些培训人大多数集中在外企,而且群体人数非常少。2010年以后随着培训行业越来越放眼看世界,比如培训杂志、益策、以及安迪曼这样的机构陆陆续续地把评估的资源和信息引入中国,随着这些年来与评估有关的专业书籍翻译出版(《柯氏的过去和现在》、《培训审判》、《ISPI绩效改进三卷本》等等),越来越多的培训同行开始对评估进行了更深入的理解和探索。宏观层面的评估土壤缺乏是企业缺乏评估意识和文化,这也是2012至2014年度的行业研究结果一再发现的问题。评估文化和氛围的不到位,会直接影响到三级评估的实施及落地。
那么,三级行为改变评估到底怎么做?您如果去看全球各位大咖们的专著文章,刚开始您会觉得“有道理”、“很明白”,但看得越多、知道的越多之后就会感到纠结和无所适从了,您会再次相信“三级评估没法儿做”的论断。我们也是这样一路走过来,把三级行为改变评估化繁为简梳理总结一看其实也不难么高深莫测。三级评估中抓好了这2-3-6,行为改变基本上就“在路上”了。(图3)。
图3 行为改变2-3-6模型
1. 此模型中的2代表三级评估机制的两大支柱:关键行为和驱动力系统。三级评估不是通常意义上理解的去看看行为是否改变了,这只是验证行为是否得到了改变。除此以外,三级评估很重要的目的和价值在于促成期望的关键行为得到改变,而且是在越多的学员身上得到改变则越好。总所周知,三级行为改变不太可能自然而然的发生。就如图2所示的Brinkhoff的研究结果来看,在不施加有针对性的干预手段的情况下,顶多能够有15%的学员能够产生关键行为改变。由此可见,严格意义上的三级评估不仅仅是简单的收集验证性数据,而是需要前瞻性地建立和应用一套行为改变机制。这套机制里包括两大部分:筛选确定该培训课程/培训项目需要取得改变的“关键行为”,以及打造一套帮助关键行为达到预期改变的驱动力系统。
2. 此模型中的3代表三级评估得以落地的三大利益攸关方:培训管理者、学员及学员主管。不同的项目中利益各方会有些许差异,该模型中的培训管理者在某些项目中应该被更宽泛地理解为“培训提供方”,比如包含培训管理者、内外部讲师、顾问(为了便于理解和简单化,姑且成为培训管理者)。另外,某些项目的三级评估还会涉及到其他利益方,比如更高级别的管理者,或者外部监管方,甚至外部客户。三级评估动作是发生在工作场所而且评价的内容也是与工作本身融为一体。因此,三级评估工作能否开展到位不是培训管理者单边能决定的。三级评估过程的真正主角是学员及其主管。
3. 此模型中的6代表三级评估需要涉及到的六大环节:梳理、选择、设计、实施、监控、优化。
1) 梳理:三级评估的第一步是梳理并确定需要改变的“关键行为”。无论您要评价的培训课程/培训项目多么复杂,只要是作为一个被评价的单位主体,该项目三级评估需要筛选确定的关键行为数目建议控制在5个以内,否则三级跟进强化无法聚焦。关键行为梳理的方法和逻辑请参见我们之前微信推送的文章《如何设计一条SMART价值证据链?》(回复:"价值证据链"即可查阅)。梳理阶段的工作由培训管理者主导,学员主管及学员(或者潜在学员)参与完成(如图3所示)。
2) 选择:梳理阶段形成的关键行为清单通常比较长,因此需要根据项目的目标及需要达成的业务结果反向推导确定哪些行为是关键的,是必须通过本项目得到改变的。在关键行为的选择确定环节,需要学员主管做主要决策,培训管理者作为评估方法论专家提供专业建议,学员只是参与其中作为必要的信息提供者。
3) 设计:从设计这个环节已经开始进入驱动力系统打造的阶段。在这个阶段培训管理者需要主要担当评估方法论专家的角色和职责,根据业务方(学员及其主管)的需求、意愿、业务特点、资源具备度、公司企业文化等因素设计三级评估的驱动力系统。从图4)可以看出,驱动力方法和措施包括向上的“托力”(鼓励和奖励)以及向下的“压力”(监督和强化)。例如,教练辅导属于鼓励措施,奖金/认可属于奖励措施,访谈/工作回顾属于监督,转授他人属于强化措施等等。针对某一个培训课程/项目的三级驱动力系统的构成不见得采用很多种驱动方法,“适用”和“可操作”是驱动方法选择和匹配应用的不二法则。在设计阶段,培训管理者需要根据所选择的驱动方法开发出相应的评估工具。例如,如果选择了工作考核,就需要开发相应的绩效操作检核表以备后续学员自检或者学员主管考核评分使用。
图4 最新柯氏四级评估模型TM
4) 实施:此阶段工作的主角是学员主管及学员本人,培训管理者在这个阶段起到“线索人物”的作用。培训管理者只需要在相应的时间节点把相应的三级评估工具给到学员主管或学员手中,告诉他们需要在哪个环节做什么以及怎么做即可。三级评估实施阶段使用的评估方法及其评估工具早在培训项目设计开发阶段就已经完成。
5) 监控:监控是指三级评估实施过程中培训管理者需要同时并行开展的一项工作,即图4所示的橘红色框。图4中绿色圆圈部分是三级评估的实施,工作开展的主体是学员及其主管。培训管理者在实施阶段给予学员及其主管需要的支持,同时监控三级评估是否在预期的计划轨道上。监控的方法和形式不拘一格,比如访谈学员新技能应用过程中主管是否给予了应用机会,是否用技能操作检核表进行评分和反馈等等。如果按照评估计划中所期望的方式做到了,表明三级评估在预期的方向上,反之亦然。
6) 优化:分为过程性优化以及总结型优化。在实施和监控过程中,如果发现偏差,培训管理者需要及时寻找原因并且采取补救措施。此外,如果在三级评估过程中发现好的成功经验要及时总结,并且把更有效的方法补充完善到原有的评估计划中。总结型优化是指在三级评估结束后,对整个三级评估过程进行复盘和回顾总结,把整个过程的操作流程、所使用的评估工具、模板、表单等进行提炼和完善,使其能够复制到后续同类或者不同类别的项目评估中。
三级评估是最重要的,也是大家认为比较难操作的。但愿这篇文章能够带给您一些启发!